Microsoft onthult doorbraak in conversationele AI met geavanceerd multi-task neuraal netwerk

• Microsoft stelt nieuwe records in het veld van conversationele kunstmatige intelligentie.
• Ze hebben een verbeterde versie van Multi-Task Deep Neural Network ontwikkeld voor het leren van tekstrepresentaties over diverse natuurlijke taalbegripstaken.

Roibuste en universele taalrepresentaties zijn belangrijk voor het verkrijgen van fatsoenlijke resultaten op diverse Natural Language Processing (NLP) taken. Ensemble learning is een van de meest efficiënte benaderingen om modelgeneralizatie te verbeteren. Tot nu toe hebben ontwikkelaars dit gebruikt om state-of-the-art resultaten te behalen in diverse natuurlijke taalbegrip (NLU) taken, variërend van machine reading comprehension tot vraagbeantwoording.

Echter, dergelijke ensemble-modellen bevatten honderden diepe neurale netwerk (DNN) modellen en zijn vrij duur om te implementeren. Pre-trained modellen, zoals GPT en BERT, zijn ook erg duur om te deployen. GPT bestaat bijvoorbeeld uit 48 transformerlagen met 1,5 miljard parameters, terwijl BERT 24 transformerlagen heeft met 344 miljoen parameters.

In 2019 kwam Microsoft met een eigen NLP-algoritme, genaamd Multi-Task DNN. Ze hebben dit algoritme nu geüpdatet om indrukwekkende resultaten te behalen.

Kennisdistillatie uitbreiden

Het onderzoeksteam comprimeerde verschillende ensemble-modellen in één Multi-Task DNN, met behulp van kennisdistillatie. Ze gebruikten het ensemble-model [op een offline manier] om zachte doelen te genereren voor elke taak in de trainingsdataset. In vergelijking met harde doelen bieden ze meer nuttige data per trainingsvoorbeeld.

Laten we een zin nemen als voorbeeld: "Ik had een lekkere chat met John gisterenavond", de sentiment in deze zin is onwaarschijnlijk negatief. Echter, de zin "We hadden een intrigerend gesprek gisterenavond" kan zowel negatief als positief zijn, afhankelijk van de context.

Referentie: arXiv:1904.09482 | Microsoft Research Blog

De onderzoekers gebruikten zowel de correcte doelen als zachte doelen over diverse taken om een enkele MT-DNN te trainen. Ze gebruikten cuDNN-geaccelereerd PyTorch diep leer framework om het nieuwe model te trainen en te testen op NVIDIA Tesla V100 GPU's.

Resultaten

Ze vergelijken gedistilleerde MT-DNN met normale MT-DNN en BERT. De resultaten tonen aan dat de gedistilleerde MT-DNN beide modellen met een significant marge overtreft, in termen van algehele score op de General Language Understanding Evaluation (GLUE) benchmark, die gebruikt wordt voor het testen van systeemprestaties op een breed scala aan linguïstische fenomenen.

GLUE benchmark score

De benchmark bestaat uit 9 NLU-taken, waaronder tekstgelijkenis, tekstuele implicatie, sentimentanalyse en vraagbeantwoording. De data bevat verschillende honderden zinsparen afkomstig uit verschillende bronnen, zoals academische en encyclopedische teksten, nieuws en sociale media.

Alle experimenten in dit onderzoek tonen duidelijk aan dat de taalrepresentatie geleerd via gedistilleerde MT-DNN universeeler en robuuster is dan normale MT-DNN en BERT.

In de komende jaren zullen onderzoekers proberen betere manieren te vinden om harde correcte doelen en zachte doelen te combineren voor multi-task leren. En in plaats van een complex model te comprimeren naar een simpelere, zullen ze betere manieren verkennen om kennisdistillatie te gebruiken om modelprestaties te verbeteren ongeacht de complexiteit.