Microsoft bereikt nieuwe doorbraak op het gebied van conversatie-AI

• Microsoft creëert nieuwe records op het gebied van kunstmatige intelligentie voor gesprekken.
• Ze hebben een verbeterde versie van Multi-Task Deep Neural Network ontwikkeld voor het leren van tekstrepresentaties voor verschillende taken voor het begrijpen van natuurlijke taal.

Robuuste en universele taalrepresentaties zijn belangrijk voor het verkrijgen van fatsoenlijke resultaten op verschillende Natural Language Processing (NLP)-taken. Ensemble-leren is een van de meest efficiënte benaderingen om modelgeneralisatie te verbeteren. Tot nu toe hebben ontwikkelaars het gebruikt om state-of-the-art resultaten te verkrijgen in een verscheidenheid aan natuurlijke taalbegrip (NLU)-taken, variërend van begrijpend lezen op de machine tot het beantwoorden van vragen.

Dergelijke ensemblemodellen bevatten echter honderden modellen voor diepe neurale netwerken (DNN) en zijn vrij duur om te implementeren. Voorgetrainde modellen, zoals GPT en BERT, zijn ook erg duur om te implementeren. GPT bestaat bijvoorbeeld uit 48 transformatorlagen met 1,5 miljard parameters, terwijl BERT 24 transformatorlagen heeft met 344 miljoen parameters.

In 2019 kwam Microsoft met zijn eigen natuurlijke taalverwerkingsalgoritme (NLP), genaamd Multi-Task DNN. Ze hebben dit algoritme nu bijgewerkt om indrukwekkende resultaten te verkrijgen.

Destillatie van kennis uitbreiden

Het onderzoeksteam heeft verschillende samengevoegde modellen gecomprimeerd tot één Multi-Task DNN, met behulp van kennisdestillatie. Ze gebruikten het ensemble-model [op een offline manier] om zachte doelen te genereren voor elke afzonderlijke taak in de trainingsdataset. In vergelijking met harde doelen bieden ze meer nuttige gegevens per trainingsvoorbeeld.

Laten we een zin nemen, bijvoorbeeld:"Ik had gisteravond een goed gesprek met John", het is onwaarschijnlijk dat het sentiment in deze zin negatief is. De zin "We hadden gisteravond een intrigerend gesprek" kan echter negatief of positief zijn, afhankelijk van de context.

Referentie:arXiv:1904.09482 | Microsoft Research-blog 

De onderzoekers gebruikten zowel de juiste doelen als zachte doelen voor verschillende taken om een ​​enkele MT-DNN te trainen. Ze gebruikten het door cuDNN versnelde PyTorch deep learning-framework om het nieuwe model te trainen en te testen op NVIDIA Tesla V100 GPU's.

Resultaten

Ze vergeleken gedistilleerd MT-DNN met normaal MT-DNN en BERT. De resultaten laten zien dat de gedistilleerde MT-DNN beide modellen met een aanzienlijke marge overtreft, in termen van algemene score op de General Language Understanding Evaluation (GLUE) benchmark, die wordt gebruikt voor het testen van systeemprestaties op een breed scala van taalkundige fenomenen.

GLUE-benchmarkscore 

De benchmark bestaat uit 9 NLU-taken, waaronder tekstovereenkomst, tekstuele betrokkenheid, sentimentanalyse en het beantwoorden van vragen. De gegevens bevatten enkele honderden zinparen afkomstig uit verschillende bronnen, zoals academische en encyclopedische teksten, nieuws en sociale media.

Alle experimenten die in dit onderzoek zijn uitgevoerd, laten duidelijk zien dat taalrepresentatie die is geleerd via gedestilleerd MT-DNN universeler en robuuster is dan normale MT-DNN en BERT.

Lezen:Bosque:de nieuwe programmeertaal van Microsoft zonder lussen

De komende jaren zullen onderzoekers proberen betere manieren te vinden om harde correcte doelen en zachte doelen te combineren voor multi-task leren. En in plaats van een gecompliceerd model te comprimeren tot een eenvoudiger model, zullen ze betere manieren onderzoeken om kennisdestillatie te gebruiken om de modelprestaties te verbeteren, ongeacht de complexiteit ervan.