Microsoft Onthult Recordbrekend 17-Miljard-Parameter Taalmodel

Microsoft introduceert de Turing Natural Language Generation, het grootste model ter wereld met 17 miljard parameters. Het genereert abstractieve samenvattingen van tekstdocumenten, directe antwoorden op vragen en woorden om zinnen te voltooien. Het model reageert zo nauwkeurig, direct en vlot als mensen in verschillende situaties.

Training Van T-NLG

Grote diep-lerende taalmodellen (zoals GPT-2 en BERT), met miljarden parameters getraind op alle beschikbare tekst op het internet, hebben diverse natural language processing (NLP) taken verbeterd, zoals documentbegrip, conversationele agents en vraagbeantwoording.

Het is waargenomen dat grotere modellen met meer diverse en uitgebreide pre-training data beter presteren, zelfs met minder trainingsvoorbeelden. Dus is het efficiënter om een massaal gecentraliseerd model te trainen en zijn kenmerken over verschillende taken te delen in plaats van voor elke taak afzonderlijk een nieuw model te trainen.

Volgend deze trend, hebben onderzoekers van Microsoft Turing Natural Language Generation (T-NLG) geïntroduceerd, het grootste model ter wereld met 17 miljard parameters. Het overtreft bestaande state-of-the-art modellen op verschillende taalmodelleringsbenchmarks.

T-NLG kan woorden genereren om onvoltooide zinnen af te maken, samenvattingen van invoerdocumenten, en directe antwoorden op vragen. In tegenstelling tot andere NLP-systemen die vertrouwen op het extraheren van inhoud uit documenten om een samenvatting te maken of vragen te beantwoorden, reageert het nieuwe generatieve model zo nauwkeurig, direct en vlot als mensen in verschillende situaties.

In plaats van passage te kopiëren, beantwoordt T-NLG de vraag direct met een complete zin.

Training Van T-NLG

Omdat één GPU (zelfs met 32 GB geheugen) niet miljarden parameters kan verwerken, moet je het model zelf paralleliseren of in plakken breken om het over meerdere GPU's te trainen.

In deze studie gebruikten de onderzoekers de NVIDIA DGX-2 hardware-opstelling (om communicatie tussen GPU's te versnellen) en tensor slicing (om het model over 4 NVIDIA V100 GPU's te breken). Met behulp van de DeepSpeed-bibliotheek en Zero-optimizer, konden ze T-NLG zeer efficiënt trainen met minder GPU's.

Prestaties Op Standaardtaken

Ze vergelijken vervolgens de prestaties van de pre-getrainde T-NLG tegen andere krachtige transformer-taalmodellen op twee standaardtaken: LAMBADA volgende-woord-voorspellingsnauwkeurigheid (hoger is beter) en Wikitext-103 perplexiteit (lager is beter). In beide gevallen presteerde T-NLG beter.

Prestaties In Vraagbeantwoording

Om kwaliteiten zoals grammatische correctheid en feitenlijke correctheid te testen, zochten onderzoekers hulp bij menselijke annotators. Ze vergelijken het nieuwe model met het LSTM-model (vergelijkbaar met CopyNet).

Prestaties In Actieve Samenvatting

T-NLG kan menselijke abstractieve samenvattingen schrijven voor een verscheidenheid aan tekstdocumenten (inclusief Word-documenten, blogposts, e-mails, PowerPoint-presentaties en zelfs Excel-bladen), maar hoe goed is het vergeleken met andere bestaande NLP-modellen.

Om het nieuwe model veelzijdiger te maken zodat het alle soorten tekst kan samenvatten, trainden ze het op publiek beschikbare samenvattingsdatasets. Ze vergelijken het vervolgens met een ander groot transformer-gebaseerd taalmodel genaamd PEGASUS en de vorige versie. Deze keer rapporteerden ze de ROUGE-score — een set metrics gebruikt voor het evalueren van automatische samenvatting in natural language processing.

Toepassingen

Microsoft heeft een doorbraak bereikt in conversationele kunstmatige intelligentie. In de komende jaren zullen ze T-NLG integreren in de Microsoft Office-suite, wat niet alleen gebruikers tijd zal besparen door e-mails en documenten samen te vatten, maar ook schrijfhulp zal bieden en vragen beantwoorden die lezers over de inhoud kunnen hebben.

Bovendien banen de bevindingen de weg voor nauwkeurigere, vlotte digitale assistenten en chatbots, die bedrijven helpen met verkoop en klantrelatiebeheer.