AI kan onderzoekspapers lezen en een duidelijke Engelse samenvatting geven

• Onderzoekers ontwikkelen een nieuw neuraal netwerk op basis van een eerder onontgonnen idee:rotaties.
• Het kan bestaande methoden vervangen om problemen uit de echte wereld aan te pakken, zoals tekstsamenvattingen, taalmodellering en het beantwoorden van vragen.

Een onderzoekspaper staat meestal vol met gespecialiseerde benaderingen en technische terminologieën, waardoor het vrij moeilijk te begrijpen is voor lezers zonder een wetenschappelijke achtergrond.

Onlangs kwamen wetenschappers van het MIT en het Qatar Computing Research Institute met een nieuw model voor kunstmatige intelligentie (AI) dat wetenschappelijke tijdschriften kan lezen en in een paar zinnen een eenvoudige Engelse samenvatting kan geven.

Hoewel het veel betere resultaten oplevert dan eerdere technieken, kan het zeker geen vervanging zijn voor wetenschappelijke schrijvers en redacteuren. Deze AI kan schrijvers echter helpen een groter aantal tijdschriften te scannen en een idee te krijgen waar ze over gaan.

Het onderzoeksteam probeerde oorspronkelijk neurale netwerken te ontwikkelen om bepaalde natuurkundige problemen aan te pakken, bijvoorbeeld hoe licht zich gedraagt ​​in ingewikkeld ontworpen materialen.

Ze realiseerden zich al snel dat dezelfde methodologie kan worden gebruikt om andere complexe computertaken, zoals spraakherkenning en natuurlijke taalinterpretatie, op veel efficiëntere manieren uit te voeren dan bestaande methoden voor machinaal leren.

Wat deden ze eigenlijk?

In de afgelopen jaren is Recurrent Neural Network (RNN) een standaard kunstmatig neuraal netwerk geworden voor het aanpakken van een breed scala aan taken, van taalmodellering tot tekstsamenvattingen en het ontwikkelen van chatbotsystemen.

Er zijn verschillende technieken ontwikkeld om het vermogen om informatie uit een lange reeks gegevens te correleren, te verbeteren. De meest populaire zijn Long Short-Term Memory (LSTM) en Gated Recurrent Units (GRU). Maar ze laten nog steeds geen indrukwekkende geheugencapaciteiten of efficiënt terugroepen zien bij synthetische taken.

Daarom ontwikkelden onderzoekers een alternatieve benadering genaamd Rotational Unit of Memory (RUM). In tegenstelling tot traditionele neurale netwerken die zijn gebaseerd op de vermenigvuldiging van matrices, is RUM gebaseerd op vectoren die in een multidimensionale ruimte roteren.

Referentie:MIT Press Journals | doi:10.1162/tacl_a_00258 | MIT 

Het gebruikt een vector in een multidimensionale ruimte (een bepaalde lijn die in een specifieke richting wijst) om elk woord in de tekst weer te geven. Elk volgend woord leidt de vector om naar een bepaalde richting in een theoretische ruimte, die duizenden dimensies kan bevatten. De resulterende vector (of een groep vectoren) wordt vervolgens terug geconverteerd naar de bijbehorende reeks woorden.

Over het algemeen doet RUM twee dingen:het onthoudt ingewikkelde sequentiële dynamiek en herinnert informatie nauwkeurig. Het laat ook veelbelovende prestaties zien voor taalmodellering op karakterniveau en het beantwoorden van vragen.

Testen

Onderzoekers hebben dit systeem getest op tal van wetenschappelijke artikelen, waaronder hun eigen artikel waarin deze bevindingen worden beschreven, en vergeleken de resultaten met traditionele op LSTM en GRU gebaseerde neurale netwerken.

In plaats van alleen abstracts te scannen, leest RUM de hele paper om een ​​eenvoudige samenvatting van hun inhoud te genereren. De samenvatting die door dit systeem wordt weergegeven, bevatte minder technische termen en herhalende woorden. Hoewel het geen elegant proza ​​was, raakt het wel de belangrijkste gegevens.

Lezen:AI schrijft zijn eigen poëzie die lijkt op het werk van Shakespeare

Je kunt dit systeem voor je eigen taken uitproberen: de code en demo zijn beschikbaar op GitHub.