AI-pionier waarschuwt dat huidige AI-hardware-focus misleidend is

Yann LeCun, Facebook's Chief AI Scientist, waarschuwde in zijn NeurIPS-keynote dat het focussen op exotische hardware een misstap is. Hij overzichtte de evolutie van gespecialiseerde chips voor neurale netwerken, deelde Facebook's huidige werk en bood voorspellingen voor deep-learning-hardware.

Oude geschiedenis

LeCun, een pionier in AI sinds de jaren 80, was een van de eersten die toegewijde neurale-netwerk-processoren ontwikkelde bij Bell Labs. Die vroege apparaten, gebouwd uit weerstands-arrays om matrix-vermenigvuldiging uit te voeren, waren de fundering voor latere vooruitgang.

Als neurale netwerken in de late jaren 90 en vroege 2000s in onbruik vielen, was LeCun een van de weinig wetenschappers die het veld in leven hield. In zijn keynote reflecteerde hij op de hardware-lessen geleerd tijdens die tijd.

Facebook Chief AI Scientist Yann LeCun

Eerst, tools zijn cruciaal. In de jaren 90 hadden slechts een handjevol onderzoekers – LeCun inbegrepen – software capabel van neurale netwerken te trainen. Het team besteedde jaren aan het bouwen van wat nu een deep-learning-framework zou heten, een flexibele laag die high-level-code vertaalt naar efficiënte trainingsroutines. Deze doorbraak legde de basis voor moderne frameworks zoals TensorFlow en PyTorch, waar modellen samengesteld worden uit differentieerbare modules die auto-gedifferentieerd kunnen worden.

De juiste tools gaven LeCun's team een „superpower” en maakten reproduceerbaar onderzoek mogelijk. Hij benadrukte dat solide resultaten reproduceerbaar moeten zijn; anders blijft de gemeenschap sceptisch.

Hardware-prestaties zijn even belangrijk. LeCun merkte op dat de mogelijkheden van onderzoeks-hardware het onderzoeksagenda vormgeven. „Ideeën die worden afgezwen, doen dat vaak omdat de beschikbare hardware ontoereikend is,” zei hij. „Een mismatch tussen onderzoeksambities en hardware-realiteiten kan veelbelovende richtingen doen afwijken.”

LeCun waarschuwde voor het najagen van exotische fabricagemethoden die niet integreren met het bestaande computing-ecosysteem.

Hij benadrukte ook een sleutel-mismatch in huidige accelerators: de meeste zijn geoptimaliseerd voor matrix-vermenigvuldiging in plaats van convolutie, de kernoperatie van moderne beeld- en spraakverwerkingsnetwerken. „De heersende benadering zal steeds meer misaligned raken naarmate stroomvraag groeit,” waarschuwde hij. „Als 95% van cycli besteed wordt aan convoluties, is de hardware fundamenteel sub-optimaal.”

Killer-app

Kijkend naar de toekomst, ziet LeCun convolutionele neurale netwerken doordringen in alledaagse apparaten – van speelgoed tot stofzuigers tot medische apparatuur. De enkele „killer-app” die AI's waarde in consumentenapparaten zal ontgrendelen, is de augmented-reality-headset.

Facebook ontwikkelt actief hardware voor AR-brillen. De uitdaging ligt in het leveren van lage-latentie, batterijgedreven computatie. „Wanneer de gebruiker beweegt, moeten de virtuele objecten geankerd blijven aan de wereld, niet aan de headset,” legde LeCun uit, wat de noodzaak voor realtime-tracking benadrukt.

Facebook ziet AR-brillen die reageren op stemcommando's en gebaren-gebaseerde handtracking. Terwijl deze mogelijkheden vandaag bestaan, tekortschieten ze in termen van vermogen, prestaties en vormfactor. LeCun schetste verschillende praktische trucs om de kloof te overbruggen.

Bijvoorbeeld, wanneer hetzelfde neurale netwerk elk frame van een video verwerkt – zoals objectdetectie – kunnen per-frame onnauwkeurigheden getolereerd worden omdat temporale consistentie over frames afgedwongen kan worden. Dit stelt het gebruik van ultra-laagstroom, imperfecte hardware toe die occasionele bit-flips kan ervaren, bereikbaar door de voedingsspanning te verlagen.

Neurale-netwerk-ontwikkelingen

De snelle evolutie van neurale-netwerk-architecturen vormt een ontwerpuitdaging voor hardware. Dynamische netwerken die sequentiële patronen leren, zoals veel NLP-modellen, vereisen runtime-grafiekoptimalisatie en worstelen met batching. LeCun merkte op dat de meeste bestaande hardware een batch-grootte >1 veronderstelt, wat onderzoekers dwingt om grotere batches te verwerken dan de optimale instelling van het model.

Hij drong erop aan de hardware-gemeenschap om architecturen te creëren die goed presteren met batch-grootte 1, zowel voor inferentie als voor training, waar de ideale batch-grootte vaak één is.

Self-supervised learning

LeCun waarschuwde dat leerparadigma's dramatisch zullen verschuiven. Mensen en dieren leren door observatie – een proces dat hij self-supervised learning noemt – in plaats van door expliciete labels of versterkingssignalen. Deze benadering, nu standaard in transformer-gebaseerd NLP, traint een model om gemaskerde delen van invoerdata te voorspellen.

Hoewel self-supervised learning hoog effectief is, drijft het geheugenvereisten op. Vandaag de dag bevatten de grootste transformer-modellen tot vijf miljard parameters en passen niet in een enkele GPU, wat model-partitionering noodzakelijk maakt.

„Self-supervised learning is de toekomst,” stelde LeCun. „Het vereist massive geheugen- en computationele bronnen, en de hardware-race zal intensiveren naarmate we steeds grotere modellen trainen op overvloedige ongelabelde data.”

Hardware-trends

LeCun houdt emerging hardware-concepten in de gaten zoals analoge computing, spintronics en optische systemen. Hij wijst erop dat communicatie-knelpunten – signalen converteren tussen nieuwe hardware en mainstream-systemen – een grote hindering zijn. Analog-ontwerpen vertrouwen op sparse-activaties om energieverbruik te reduceren, maar de haalbaarheid van het handhaven van sparsity blijft onzeker.

Hij blijft sceptisch over futuristische benaderingen zoals spiking neural networks en neuromorphische chips. „Voordat chips gebouwd worden, moeten de algoritmes zich bewijzen,” zei hij. „Hardware-ontwerp vooruitdrijven op algoritmische rijping is riskant.”

Een Neurale-Netwerk-Verwerkings-Tijdlijn

Einde jaren 80: Weerstands-arrays worden gebruikt voor matrix-vermenigvuldiging. Eind jaren 80 hebben de arrays versterkers en converters eromheen gekregen, maar zijn nog steeds tamelijk primitief naar huidige standaarden. De beperking is hoe snel data in de chip gevoerd kan worden.
1991: De eerste chip ontworpen voor convolutionele neurale netwerken (CNNs) wordt gebouwd. De chip is capabel van 320 giga-operaties per seconde (GOPS) op binaire data, met digitale shift-registers die de hoeveelheid externe verkeer minimaliseren die nodig is om een convolutie uit te voeren, wat de operatie versnelt. De chip ziet geen gebruik buiten academie.
1992: ANNA, een analoge neurale-netwerk ALU-chip, debuteert. Ontworpen voor CNNs met 6-bit gewichten en 3-bit activaties, bevat ANNA 180.000 transistors in 0,9-µm CMOS. Het wordt gebruikt voor optische-kenmerkherkenning van handgeschreven tekst.
1996: DIANA, een digitale versie van ANNA, wordt vrijgegeven. Maar met neurale netwerken die in onbruik vallen midden jaren 90, wordt DIANA uiteindelijk hergebruikt voor signaalverwerking in mobiele torens.
2009–2010: Onderzoekers demonstreren een hardware neurale-netwerk-accelerator op een FPGA (de Xilinx Virtex 6). Het draait een demo voor semantische segmentatie voor geautomatiseerd rijden en is capabel van 150 GOPS bij ongeveer 0,5 W. Het team, van Purdue University, probeert een ASIC te maken gebaseerd op dit werk, maar het project blijkt onsuccessvol. (Bron: Yann Le Cun/Facebook)