AI decodeert visuele cortex neuronenvoorkeuren, onthult hoe ze afbeeldingen kiezen

Onderzoekers ontwikkelen een AI-gebaseerd model dat waardevolle signalen genereert om betrouwbaar te bepalen wat neuronen prefereren om naar te kijken. Het model gebruikt een generatief diep neuraal netwerk en een genetisch algoritme genaamd XDREAM.

Het experiment

Meer dan 5 decennia lang weten wetenschappers dat neuronen in de visuele cortex niet gelijk reageren op verschillende afbeeldingen. Dit is wat dieren in staat stelt om grote hoeveelheden visuele aanwijzingen om hen heen te herkennen, begrijpen en interpreteren.

Bijvoorbeeld: bepaalde visuele neuronen in het hersengebied genaamd inferieure temporale cortex vuren meer wanneer dieren naar tekst, objecten, plaatsen of gezichten kijken. Echter, wetenschappers begrijpen nog steeds niet precies wat deze neuronen reageren op.

Onlangs ontwikkelde een team onderzoekers van Harvard Medical School een kunstmatige intelligentie (AI) model dat waardevolle signalen genereert om betrouwbaar te bepalen wat neuronen prefereren om naar te kijken.

De experimenten die tot nu toe uitgevoerd zijn, probeerden neurale voorkeuren te analyseren met echte afbeeldingen. Deze afbeeldingen kunnen inherent gepartijde zijn vanwege twee hoofredenen — ze vertegenwoordigen alleen real-world scènes en ze worden gekozen door mensen voor tests. Het nieuwe model lost dit probleem op door synthetische afbeeldingen te genereren aangepast aan de voorkeur van individuele neuronen.

Het experiment

Het team vastlegde neurale reacties van 6 makaken en voerde het in het AI-gebaseerde model in. Het model meet de vuursnelheden van elk visueel neuron in de hersenen en genereerde zelf-aanpassende afbeeldingen.

Apen werden deze synthetische afbeeldingen getoond in 0,1-seconde flitsen voor een paar uren. De eerste afbeelding was een willekeurig textuurpatroon in grijswaarden. De AI introduceerde langzaam kleuren en vormen gebaseerd op neurale reacties. De finale afbeelding was gemorpht in iets dat de voorkeur van een neuron volledig belichaamde.

Deze AI-gebaseerde benadering gebruikt een generatief diep neuraal netwerk en een genetisch algoritme genaamd XDREAM, specifiek ontworpen door onderzoekers om de evolutie van een nieuwe, synthetische afbeelding te sturen.

Referentie: Cell | DOI:10.1016/j.cell.2019.04.005 | The Harvard Gazette

De AI was in staat om super-stimulus voor neuronen aan het einde van elk experiment te genereren. De uitkomsten van alle experimenten waren redelijk consistent. Veel neuronen evolveerden afbeeldingen door de AI die niet identiek waren maar uitzonderlijk gelijkaardig.

Sommige afbeeldingen voldeden aan de verwachtingen van de onderzoekers. Bijvoorbeeld: een neuron dat verwacht wordt te reageren op gezichten evolveerde cirkelvormige roze afbeeldingen met twee donkere vlekken die op ogen lijken.

Natuurlijke afbeeldingen vs door neuronen geëvolueerde afbeeldingen in de inferotemporale cortex van de aap | Met dank aan de onderzoekers

Sommige resultaten waren verrassend. Bijvoorbeeld: een van de apen's neuronen produceerde consistent afbeeldingen van een aaplichaam met rode vlekken om de hals. Het team ontdekte uiteindelijk dat deze aap opgevoed was met een andere die een rode halsband droeg.

Echter, niet alle finale afbeeldingen maakten zin: een aap's neuron produceerde een amorphe donkere vorm terwijl een andere een klein zwart vierkant evolveerde.

Wat is de volgende stap?

Volgens de onderzoekers zijn deze neurale reacties niet natuurlijk, maar resultaten van continue blootstelling aan visuele stimuli voor een specifieke periode. Hoe precies neuronen deze afbeeldingen produceren is nog onbekend. Het team plannet deze vraag in hun volgende studie te beantwoorden.

Leren hoe de visuele cortex reageert op bepaalde afbeeldingen kan wetenschappers helpen het mechanisme beter te begrijpen dat cognitieve gerelateerde ziekten aanstuurt, inclusief autismespectrumstoornissen en leerstoornissen.