Nieuwe Thermoelectrische Materialen Ontdekken met Woord-Embeddings

Praat met iemand vandaag en ze zullen je vertellen dat Kunstmatige Intelligentie het volgende grote ding is — de hete aardappel die iedereen een stukje van wil, maar niemand kan kauwen.

Een goed meerderheid van hen zal je ook vertellen dat veel van wat als AI omgaat eigenlijk gewoon hype is — een verheerlijking van goeie oude machine learning en wiskunde in PowerPoint gekleed. En voor het grootste deel zouden ze gelijk hebben.

Echter, één gebied waar de toepassing van AI-tools zoals Deep Learning niets minder dan revolutionair is, is Natural Language Processing.

Een makkelijk voorbeeld zijn de chatbots die websites bemannen. Ze worden gedraaid door relatief gecompliceerde deep learning architecturen genaamd Long Short Term Memory (LSTM) neurale netwerken. Deze algoritmen kunnen 'begrijpen' wat we ze vertellen en samenstellen leesbare, coherente zinnen als reactie. Zeker, deze bot is geen Socrates, maar het spuwt geen willekeurige mengelmoes van woorden uit. Er is de onmiskenbare suggestie van een laag niveau intelligentie.

Woord-embeddings

Het moderne tijdperk van Deep Learning in taalverwerking werd gestart met de publicatie in 2013 van Tomas Mikolov's word2vec-paper. Hun triomf was het ontwikkelen van een computationeel haalbare methode om woord-embeddings of woord-vectoren te genereren met neurale netwerken.

Overweeg de woorden man, vrouw, koning en koningin. Als je gevraagd werd om deze woorden te groeperen, heb je een aantal gezond verstand keuzes. Ik zie graag [man, vrouw] en [koning, koningin]. Je zou [man, koning] en [vrouw, koningin] kunnen zien.

Ik weet ook dat het woord koning en man op exact dezelfde manier gerelateerd zijn als 'vrouw' en 'koningin'.

man:koning = vrouw:koningin

Zelfs als ik deze woorden nooit had gehoord, kan ik deze relaties leren door de zinnen te observeren die ik tegenkom. 'Deze man is een koning', 'De koningin was een goddelijke vrouw', 'Ze regeerde als de koningin van het zilveren scherm', 'Zijn koninkrijk zal komen'. Deze zinnen suggereren door de nabijheid van woorden alleen dat de koning meestal een man is en dat een koningin waarschijnlijk een vrouw is.

Woord-embeddings doen hetzelfde, maar voor miljoenen woorden uit duizenden documenten. De sleutel hier is dat de woorden geleerd worden uit context. Wat deze mathematische analogie-spel mogelijk maakt, zijn de krachten van moderne computatie en de magie van deep learning.

Deep Learning Woord-Embeddings

Laten we zeggen dat we de embeddings willen vinden voor alle woorden in Harry Potter.

We maken eerst een soort mathematische kluis-bibliotheek-kamer. Een ongelofelijk multidimensionaal reusachtig ding dat groot genoeg is om alle woorden te houden die we nodig hebben. Dit is de vectorruimte.

Het doel is om door Harry Potter woord voor woord te gaan en elk woord in een kluis in de kamer te plaatsen. Vergelijkbare woorden zoals Jurk en Mantel gaan in dezelfde kluis. Quidditch en Snitch liggen in aangrenzende kluizen. Auto en Centaur liggen zo ver van elkaar als Banaan en Voldemort.

De woord-embedding van een woord is het adres van de kluis waarin het gevonden zal worden. Wiskundig gezien maakt dit het een vector in de vectorruimte.

Je kunt zien waarom geen mens ooit deze baan zou willen. Er zijn veel te veel woorden en veel te veel verplaatsingen betrokken.

Een neuraal net doet dit echter uitzonderlijk goed. Het doet dit door, nou ja, magie.

Een diep neuraal net is een soort massieve machine met miljoenen tandwielen en hendels. In het begin is het alle chaos en niets past bij iets, zelfs al schuift alles rond. Langzaam beginnen sommige tandwielen te vergrendelen. De hendels vallen in plaats — en orde ontstaat uit chaos. De machine begint te bewegen. Frankenstein is levend!

De taal hier is bewust vaag. Ik wil je meenemen naar de toepassingen van woord-embeddings, niet hoe het afgeleid wordt. Dat gezegd hebbend, op een fundamenteel niveau weten we niet helemaal hoe neurale netwerken doen wat ze doen. Dus in onze experimenten moeten we spelen met het aantal lagen, de activeringsfuncties, het aantal neuronen in elke laag, etc. voordat we bij onze taak komen. Maar dat is een onderwerp voor een andere dag.

Thermoelectriciteit

In een paper gepubliceerd in 2019, genereerde een team van onderzoekers van het Lawrence Berkeley Lab de woord-embeddings van alle abstracts in ongeveer 3,3 miljoen papers gepubliceerd over 1000 journals. Deze lijst is uiteraard enorm en dekt bijna elk onderwerp dat gepubliceerd is in materiaalwetenschap over de laatste paar decennia.

Wanneer het aankomt op een wetenschappelijke tekst, zijn chemische formules en symbolen ook 'woorden'. Daarom is er een woordvector voor LiCoO2 — wat een veelvoorkomende batterijkathode is. Je kunt dan vragen stellen zoals: wat zijn de dichtstbijzijnde woordvectoren tot LiCoO2?

We weten dat LiCoO2 een vector is in de vectorruimte. Alles wat we hoeven te doen is vectoren vinden die dichtbij liggen.

Het antwoord komt uit als LiMn2O4, LiNi0.5Mn1.5O4, LiNi0.8Co0.2O2, LiNi0.8Co0.15Al0.05O2 en LiNiO2—wat allemaal ook lithium-ion kathodematerialen zijn.

Het relatiepad van geselecteerde chemische verbindingen naar het woord 'thermoelectric'. Li2CuSb is niet direct gerelateerd aan 'thermoelectric', maar het ligt in de buurt van andere woorden die indicatoren zijn van deze eigenschap zoals 'indirect band' en 'optoelectronics'. Van [2]

Zie je wat we hier deden?

We probeerden echt andere materialen te verkennen die vergelijkbaar waren met onze favoriete kathode. In plaats van duizend papers te lezen, notities te maken en een lijst van lithiumverbindingen op te stellen, losten de woord-embeddings de taak in een paar seconden op.

Dit is de kracht van woord-embedding. Door semantische vragen om te zetten in mathematische vectoroperaties, stelt deze benadering ons in staat om grote tekstdatabases beter en efficiënter te bevragen en te begrijpen.

Als verder voorbeeld, bestudeerden de onderzoekers hoe vaak een chemische verbinding in de buurt van de vector voor 'thermoelectriciteit' werd gevonden. (Dit zijn materialen die elektrische energie omzetten in warmte of vice versa).

Je kunt dit doen door een directe vectoroperatie genaamd het dot product. Vectoren die vergelijkbaar zijn, hebben een dot product dat benadert één. Ongelijksoortige vectoren hebben een dot product near nul.

Door dezelfde operatie uit te voeren op chemische verbindingen in de database en het woord 'thermoelectric', vonden de auteurs alle chemicaliën die waarschijnlijk thermoelektrisch waren.

De woord-embeddings van de abstract-database kunnen dergelijke vragen beantwoorden als: Als Zr Hexagonaal is, is Chromium …? (Lichaam-gencenterd) Van [2]

De auteurs gaan verder met tonen dat vergelijkbare relaties kunnen worden gedemonstreerd voor diverse materiaaleigenschappen zoals kristalstructuur en ferro-elektriciteit. Verder tonen ze aan dat met deze techniek verschillende van de huidige thermoelektrische materialen jaren geleden voorspeld hadden kunnen worden uit bestaande literatuur.

De analyse is een heel mooie, elegante maar bedrieglijk simpele expressie van de vraag 'Van alle materialen bestudeerd door de mens, welke zijn waarschijnlijk thermoelektrisch'.

Materiaaldatabases zijn de noodzaak van het uur

Je zou aannemen dat we deze lijst al hebben — duidelijk heeft iemand notities gemaakt van al het werk dat we gedaan hebben? Materiaalhandboeken en elektronische databases samengesteld?

Het antwoord is een verrassend nee. De enorme hoeveelheid kennis die we over de jaren hebben verzameld, zit gesloten in teksten zoals boeken, journals en papers. Er zijn er zo veel van dat het onmogelijk is voor ons om ze handmatig te scannen.

Dit is precies waarom woord-embeddings en de technieken gedemonstreerd in dit paper niets minder dan revolutionair zijn.
Ze beloven de manier te veranderen waarop we interacteren met tekst en onze database van materialen snel te versnellen.

Wat zijn enkele van de materialen die bestudeerd zijn voor piezo-elektriciteit? Is er een supergeleider die we in de literatuur gemist hebben? Is er een nieuw geneesmiddel dat Alzheimer kan genezen?
Vraag de woord-embeddings. Ze zouden het weten.