Microsoft bouwt het grootste taalgeneratiemodel met 17 miljard parameters

• Microsoft introduceert de Turing Natural Language Generation, 's werelds grootste model met 17 miljard parameters.
• Het genereert abstracte samenvattingen van tekstdocumenten, directe antwoorden op vragen en woorden om zinnen te voltooien.
• Het model reageert zo nauwkeurig, direct en vloeiend als mensen kunnen in verschillende situaties.

Grootschalige deep learning-taalmodellen (zoals GPT-2 en BERT), met miljarden parameters die zijn getraind op alle tekst die op internet beschikbaar is, hebben verschillende NLP-taken (Natural Language Processing) verbeterd, zoals documentbegrip, gespreksagenten en vragen beantwoorden.

Er is waargenomen dat grotere modellen met meer diverse en uitgebreide pre-trainingsgegevens beter presteren, zelfs met minder trainingsmonsters. Het is dus efficiënter om een ​​enorm gecentraliseerd model te trainen en de functies ervan over verschillende taken te delen in plaats van voor elke taak afzonderlijk een nieuw model te trainen.

In navolging van deze trend hebben onderzoekers van Microsoft Turing Natural Language Generation (T-NLG) geïntroduceerd, 's werelds grootste model met 17 miljard parameters. Het presteert beter dan bestaande start-of-the-art modellen op verschillende benchmarks voor taalmodellering.

T-NLG kan woorden genereren om onvoltooide zinnen aan te vullen, samenvattingen van invoerdocumenten en directe antwoorden op vragen. In tegenstelling tot andere NLP-systemen die afhankelijk zijn van het extraheren van inhoud uit documenten om een ​​samenvatting te maken of vragen te beantwoorden, reageert het nieuwe generatieve model zo nauwkeurig, direct en vloeiend als mensen kunnen in verschillende situaties.

In plaats van passage te kopiëren, beantwoordt T-NLG de vraag direct met een volledige zin.

Training T-NLG

Aangezien één GPU (zelfs met 32 ​​GB geheugen) geen miljarden parameters kan verwerken, moet u het model zelf parallelliseren of in segmenten verdelen om het over meerdere GPU's te trainen.

In deze studie maakten onderzoekers gebruik van de NVIDIA DGX-2 hardware-setup (om de communicatie tussen GPU's sneller te maken) en tensor slicing (om het model over 4 NVIDIA V100 GPU's te breken). Met behulp van de DeepSpeed-bibliotheek en Zero Optimizer konden ze T-NLG zeer efficiënt trainen met minder GPU's.

Prestaties ten opzichte van standaardtaken 

Vervolgens vergeleken ze de prestaties van de vooraf getrainde T-NLG met andere krachtige transformatortaalmodellen voor twee standaardtaken:LAMBADA-nauwkeurigheid van de volgende woordvoorspelling (hoger is beter) en Wikitext-103 perplexiteit (lager is beter). In beide gevallen presteerde T-NLG beter.

Referentie:Microsoft | GitHub 

Prestatie bij het beantwoorden van vragen 

Om eigenschappen als grammaticale correctheid en feitelijke correctheid te testen, zochten onderzoekers hulp bij menselijke annotators. Ze vergeleken het nieuwe model met het LSTM-model (vergelijkbaar met CopyNet).

Prestaties in actieve samenvatting 

T-NLG kan mensachtige abstracte samenvattingen schrijven voor een verscheidenheid aan tekstdocumenten (inclusief Word-documenten, blogposts, e-mails, PowerPoint-presentaties en zelfs Excel-sheets), maar hoe goed is het in vergelijking met andere bestaande NLP-modellen.

Om het nieuwe model veelzijdiger te maken, zodat het allerlei soorten tekst kan samenvatten, hebben onderzoekers het getraind op openbaar beschikbare samenvattende datasets. Vervolgens vergeleken ze het met een ander groot op transformatoren gebaseerd taalmodel genaamd PEGASUS en de vorige versie. Deze keer rapporteerden ze de ROUGE-score - een set metrieken die worden gebruikt voor het evalueren van automatische samenvattingen in natuurlijke taalverwerking.

Toepassingen

Microsoft heeft een doorbraak bereikt op het gebied van kunstmatige intelligentie voor gesprekken. De komende jaren zullen ze T-NLG integreren in de Microsoft Office-suite, wat gebruikers niet alleen tijd zal besparen door e-mails en documenten samen te vatten, maar ook schrijfhulp biedt en vragen beantwoordt die lezers mogelijk stellen over de inhoud.

Lezen: Microsoft bouwt een volledig geautomatiseerde opslag van DNA-gegevens

Bovendien effenen de bevindingen de weg voor nauwkeurigere, vlottere digitale assistenten en chatbots, die bedrijven helpen met verkoop en klantrelatiebeheer.