AI vertaalt complexe onderzoeksartikelen naar duidelijke, platte taal samenvattingen

• Onderzoekers ontwikkelen een nieuw neuraal netwerk gebaseerd op een nog onontdekt idee – rotaties.
• Het kan bestaande methoden vervangen om real-world problemen aan te pakken zoals tekstsamenvatting, taalmodellering en vraagbeantwoording.

Een onderzoeksartikel is meestal gevuld met gespecialiseerde benaderingen en technische terminologie, wat het voor lezers zonder wetenschappelijke achtergrond moeilijk begrijpelijk maakt.

Onlangs bedachten wetenschappers van MIT en Qatar Computing Research Institute een nieuw AI-model dat wetenschappelijke tijdschriften kan lezen en een platte taal samenvatting in een paar zinnen kan geven.

Hoewel het ver betere resultaten oplevert dan eerdere technieken, kan het zeker geen wetenschappelijke schrijvers en redacteuren vervangen. Deze AI kan schrijvers echter helpen om een groter aantal tijdschriften te scannen en een idee te krijgen waar ze over gaan.

Het onderzoeksteam probeerde oorspronkelijk neurale netwerken te ontwikkelen om bepaalde fysica-problemen aan te pakken, bijvoorbeeld hoe licht zich gedraagt in complexe ingenieursmaterialen.

Ze realiseerden zich snel dat dezelfde methodologie gebruikt kan worden om andere complexe computationele taken aan te pakken, zoals spraakherkenning en natuurlijke taalinterpretatie, op veel efficiëntere manieren dan bestaande machine learning methoden.

Wat deden ze eigenlijk?

In de afgelopen jaren is Recurrent Neural Network (RNN) een standaard kunstmatig neuraal netwerk geworden voor het aanpakken van een breed scala aan taken, van taalmodellering tot tekstsamenvatting en het ontwikkelen van chatbotsystemen.

Verschillende technieken zijn ontwikkeld om de vermogen te verbeteren om informatie te correleren uit een lange reeks data. De populairste zijn Long Short-Term Memory (LSTM) en Gated Recurrent Units (GRU). Maar ze tonen nog steeds geen indrukwekkende geheugencapaciteiten of efficiënte herinnering op synthetische taken.

Daarom ontwikkelden onderzoekers een alternatieve benadering genaamd Rotational Unit of Memory (RUM). In tegenstelling tot traditionele neurale netwerken die gebaseerd zijn op matrixvermenigvuldiging, is RUM gebaseerd op vectoren die roteren in multidimensionale ruimte.

Referentie: MIT Press Journals | doi:10.1162/tacl_a_00258 | MIT

Het gebruikt een vector in multidimensionale ruimte (een bepaalde lijn die in een specifieke richting wijst) om elk enkel woord in de tekst te vertegenwoordigen. Elk opvolgend woord zet de vector in een bepaalde richting in een theoretische ruimte, die duizenden dimensies kan bevatten. De resulterende vector (of een groep vectoren) wordt vervolgens teruggeconverteerd naar de bijbehorende reeks woorden.

Over het algemeen doet RUM twee dingen: het onthoudt ingewikkelde sequentiële dynamica en herinnert informatie nauwkeurig. Het toont ook veelbelovende prestaties voor karakter-niveau taalmodellering en vraagbeantwoording.

Testen

Onderzoekers testten dit systeem op talloze wetenschappelijke artikelen, inclusief hun eigen artikel waarin deze bevindingen worden beschreven, en vergeleken de resultaten met traditionele op LSTM- en GRU-gebaseerde neurale netwerken.

In plaats van alleen abstracts te scannen, leest RUM het gehele artikel om een eenvoudige samenvatting van de inhoud te genereren. De samenvatting die door dit systeem werd gegenereerd, bevatte minder technische termen en herhalende woorden. Hoewel het geen elegante proza was, raakt het de kernpunten van de data.

U kunt dit systeem op uw eigen taken uitproberen: de code en demo zijn beschikbaar op GitHub.