TinyML: Ingenieurs verenigen om AI te standaardiseren voor ultra-laag-vermogen systemen

SUNNYVALE, Calif. - Bijna 200 ingenieurs en onderzoekers verzamelden om een community te lanceren gewijd aan het vooruitgang boeken van TinyML, het opkomende veld dat deep learning naar ultra-laag-vermogen systemen brengt.

"Er is geen tekort aan innovatieve ideeën," zei Ian Bratt, een machine-learning fellow bij Arm, de sessie openend.

Vier jaar geleden had de vooruitgang stilgelegd. De aankomst van nieuwe floating-point formaten en compressietechnieken heeft de opwinding weer opgang gegeven, doch een significant gap blijft tussen cutting-edge onderzoek en commercieel haalbare oplossingen, legde Bratt uit.

Het software-ecosysteem voelt als de wilde westen - gefragmenteerd en gedomineerd door corporate reuzen zoals Amazon, Google en Facebook, elk hun eigen frameworks duwend. De uitdaging voor hardware-ingenieurs is om producten te leveren die wijd bruikbaar zijn, voegde hij toe.

Een ingenieur van STMicroelectronics herhaalde deze sentiment. "Ik realiseer me net dat er minstens vier AI-compilers zijn, en de next-generation chips zullen buiten de traditionele embedded designer's toolkit vallen. Het stabiliseren van software-interfaces en investeren in interoperabiliteit - door een standaardencommissie - zijn essentieel," zei hij.

Pete Warden, co-voorzitter van de TinyML-groep en technical lead voor TensorFlow Lite, waarschuwde dat software-standaarden nog verfrut kunnen zijn. "Onderzoekers herzien constant operaties, architecturen, gewichten, compressie, formaten en kwantisatie. De semantiek is in flux, en we moeten bijbenen," zei hij.

Warden voegde toe dat over de komende jaren versnellers die geen general-purpose berekeningen kunnen uitvoeren om nieuwe operaties of activatiefuncties te ondersteunen, verouderd zullen raken. Twee jaar van nu, zullen nieuwe operaties waarschijnlijk opduiken, waarschuwde hij.

Een Microsoft AI-onderzoeker was het eens. "We zijn nog ver van waar we zouden moeten zijn, en we zullen er niet in een of twee jaar komen. Dit was de reden dat Microsoft investeerde in FPGA's om zijn Azure-cloudservices te versnellen," zei hij. "Het bouwen van de juiste abstractielaag is cruciaal voor hardware-innovatie. Een open-source hardware-versneller zou de vooruitgang kunnen versnellen," voegde hij toe.

Bratt stelde voor dat een compliance-standaard de eerste stap zou kunnen zijn, zodat onderzoekers een consistente edge-cloud ervaring hebben, stelde hij voor.

Princeton-professor Naveen Verma, wiens werk zich richt op AI-processors-in-memory, benadrukte de noodzaak voor robuuste functionele specificaties op elk niveau. "Als we duidelijke specs op voldoende niveaus kunnen definiëren, zal dit paden openen naar andere lagen, en deze community is uniek gepositioneerd om ze te definiëren," zei hij.