AI nadert semantisch begrip: De volgende grenzen in NLP

AI is een misnomer, zo wordt vaak gesuggereerd. De eerste letter — artificieel — klopt ongeveer. Wat het tweede woord betreft — nou, er is niets intelligents aan. Neem semantiek als voorbeeld, er is niets remotep intelligents, of anders, aan artificiële technologie die de betekenis in zinnen, paragrafen en boeken begrijpt, voor de simpele reden dat het onverminderd slecht darin is.

Maar zou dit op het punt staan te veranderen? Recentelijk zaten we neer met Hadayat Seddiqi, director of machine learning bij legal tech bedrijf InCloudCounsel. Hij rekent dat AI dichtbij is om een begrip van semantiek te bereiken als de volgende stap in zijn evolutie. We vroegen: "Wanneer zullen we waarschijnlijk deze mijlpaal bereiken?"

SEO: als je een schrijver bent, die trots is op je schrijven, in het toepassen van je lexicon om een idee uit te drukken zonder herhaling, dan haat je waarschijnlijk SEO. Als je graag een complex argument maakt, dat alleen echt over een zin, een hoofdstuk, een artikel of zelfs een boek kan worden uitgedrukt, dan is SEO, vanwege de manier waarop het je dwingt argumenten te vernederen tot twee of drie of vier woorden, zoals AI en semantiek begrijpen, de vijand. (Zie wat we daar deden?)

Zou het niet geweldig zijn als zoek, met AI om semantiek te begrijpen (daar gaan we weer), zoekresultaten kan creëren op basis van een veel meer gesofistikeerde — intelligente, als je wilt — begrip, wat de noodzaak voor vervelende herhaling wegnemt!

De natural language processing markt wordt verwacht $22,3 miljard te bereiken tegen 2025 — wat illustreert hoe ver de technologie gekomen is, met name in hoe we communiceren en zakendoen.

Momenteel worden deze technologieën gebruikt voor een verscheidenheid aan doeleinden binnen organisaties, inclusief reputation monitoring van merken om sentimentanalyse te bepalen, inzichten te bieden over advertentieplaatsingen via keyword matching of sense disambiguatie, en kunnen zelfs gebruikt worden in regelgevende compliance om ervoor te zorgen dat producten geen aansprakelijkheid worden.

In dat geval, ligt AI's ware kracht om industriën te revolutioneren en cruciale zakelijke inzichten te bepalen, in zijn vermogen om tekst te lezen en de semantiek (of relatie tussen woorden) te begrijpen om organisaties te helpen risico's verder te mitigeren en aansprakelijkheden onteugden. Hierdoor ontstaat massive waarde in natural language processing.

Dus, in het verhaal van AI die semantisch begrip mogelijk maakt, wat is de volgende stap in zijn evolutie en wanneer zullen we waarschijnlijk deze mijlpaal bereiken?

Seddiqi zegt: "Het bereiken van semantisch begrip in AI zal verschillende cruciale mijlpalens vereisen. Het is nuttig om te denken in termen van de iteratieve vooruitgang die ons leidt naar semantisch begrip in AI en wat elke mijlpaal betekent."

"Een vorige mijlpaal," zegt Seddiqi, is Word Vectors: "Laten we deze mijlpaal frameren in termen van een veelvoorkomend use case dat de meeste mensen kennen: zoekfunctionaliteit op een computer. Iedereen heeft Ctrl+F/Command+F gebruikt om iets op hun systeem te vinden, wat vindt wat je zoekt door keywords exact te matchen. Bovendien, het gebruik van een zoekmachine zoals Google om informatie te vinden zal een 'spellcheck' component bevatten om potentiële spelfouten aan te pakken.

"Maar wat met woorden die er heel anders uitzien maar vergelijkbare betekenissen hebben? Rond 2013, vond de AI-community een efficiënte manier om dit te modelleren genaamd 'word vectors'. Je kunt leuke woord-algebra dingen doen, zoals King + Vrouw geeft je Queen. Praktischer, je kunt nu je zoekopdracht uitbreiden om semantisch gerelateerde woorden te includeren."

Komende mijlpaal in AI begrijpen van semantiek

"Word vectors waren een game-changer, maar ze vereisten nog steeds dat je je idee uitdrukt in termen van één of een paar keywords. Maar wat als je idee een hele zin vereist om uit te drukken? Dat is de volgende mijlpaal, waar we aankomen dankzij een grote duw in onderzoek vorig jaar.

"Het idee is dat je een zin kunt nemen, het encoderen in een zin (of gedachte) vector en dan vergelijkbare zin-vectors kunt vinden. Als goed geencodeerd, kan je zoekfunctie heel anders ogende zinnen vinden die hetzelfde idee uitdrukken.

"Het is niet onredelijk om te zeggen dat deze technologie binnen de komende paar jaar volwassen zal worden, gebaseerd op huidige onderzoeksvoortgang.

Toekomstige mijlpalens: AI begrip buiten zinnen

"Er is een duidelijk patroon van hiërarchie emerging in de progressie van deze technologie. We komen dichtbij AI die ideeën op zinniveau begrijpt met vergelijkbare technieken van het woordniveau en ze opschaalt. Dit opent spannende applicaties voor AI die ideeën begrijpt die paragrafen, hele documenten, of zelfs hele boeken vereisen.

"AI's recente sprong naar het begrijpen van zinnen van woorden is niet triviaal geweest aangezien de capaciteit om dit te doen grotendeels beperkt is geweest door dataset-grootte en rekenkracht. Ons vermogen om modellen te creëren om deze grotere problemen aan te pakken, is tot nu toe aangetoond afhankelijk van deze twee resource-beperkingen.

"Naarmate deze kosten dalen door vooruitgang in AI-hardware, zullen we ons zien dichterbij modellen die grotere verzamelingen tekst begrijpen. Dit is enigszins bewezen door Open AI's GPT-2 model, wat toont dat het gebruik van hetzelfde zin-encoderingsmodel-ontwerp met een grote hoeveelheid data, modellen produceert die al hoog-niveau concepten over veel zinnen begrijpen. Bijvoorbeeld, GPT-2 begrijpt genoeg om hele nieuwsartikelen te schrijven met verbazingwekkende coherentie.