Ultra low-power systeem pinnen AI hoopt op TinyML

SUNNYVALE, Californië – Een groep van bijna 200 ingenieurs en onderzoekers is hier bijeengekomen om te discussiëren over het vormen van een gemeenschap om diepgaand leren te cultiveren in ultra-laagvermogensystemen, een vakgebied dat ze TinyML noemen. In presentaties en dialogen worstelden ze openlijk om greep te krijgen op een nog onvolgroeide tak van het snelst veranderende gebied van technologie in de hoop een nieuwe klasse van systemen mogelijk te maken.

"Er is geen gebrek aan geweldige ideeën", zei Ian Bratt, een fellow in machine learning bij Arm, en begon een discussie.

"Vier jaar geleden begon het saai te worden, en toen kwam machine learning met nieuwe floating-point formaten en compressietechnieken - het is alsof je weer jong bent. Maar er is een groot tekort aan manieren om deze ideeën in een echt systeem te gebruiken om geld te verdienen, "zei Bratt.

“Het software-ecosysteem is een totaal wild Westen. Het is zo gefragmenteerd en een beetje landroof met Amazon, Google, Facebook en anderen die allemaal hun kaders pushen ... Dus hoe kan een hardware-ingenieur iets uithalen dat veel mensen kunnen gebruiken, "vroeg hij.

Een ingenieur van STMicroelectronics was het daarmee eens.

“Ik realiseerde me net dat er minstens vier compilers voor AI zijn, en de nieuwe chips zullen niet worden gebruikt door de traditionele embedded designer. We moeten dus de software-interfaces stabiliseren en investeren in interoperabiliteit - een normcommissie moet werken aan gemeenschappelijke interfaces', suggereerde de STM-ingenieur.

Het is misschien te vroeg voor softwarestandaarden, zegt Pete Warden, medevoorzitter van de TinyML-groep en de technische leider van Google's TensorFlow Lite, een framework dat zich richt op mobiele en embedded omgevingen.

“We geven de schuld aan de onderzoekers die voortdurend de operaties en architecturen veranderen. Ze ontdekken nog steeds dingen over gewichten, compressie, formaten en kwantisering. De semantiek blijft veranderen en we moeten ze bijbenen,' zei Warden.

"De komende jaren is er geen toekomst voor versnellers die geen algemene berekeningen uitvoeren om een ​​nieuwe bewerking of activeringsfunctie uit te voeren, omdat het over twee jaar waarschijnlijk is dat mensen verschillende bewerkingen ter tafel zullen brengen," voegde hij eraan toe.

Een Microsoft AI-onderzoeker was het daarmee eens. “We zijn ver van waar we denken te moeten zijn, en we zullen er niet binnen een jaar of twee zijn. Dit was de reden waarom Microsoft investeerde in FPGA's om zijn Azure-cloudservices te versnellen. "We moeten de juiste abstractielagen bouwen om hardware-innovatie mogelijk te maken... en als er een open source hardwareversneller zou zijn, zou dat kunnen helpen", voegde hij eraan toe.

"Misschien is een nalevingsstandaard de eerste stap, zodat onderzoeken aan de rand dezelfde ervaring krijgen als in de cloud", opperde Bratt of Arm.

"We hebben robuuste functionele specificaties nodig voor elk niveau waarin je leeft. Als we ze op voldoende niveaus hebben, geeft het mensen toegang tot andere lagen, en deze groep is de beste om ze te definiëren", zegt Naveen Verma, een Princeton-professor wiens onderzoek zich richt op AI-processors-in-memory.