Slimme Camera's Leren Hun Visuele Wereld Begrijpen

Robotici en kunstmatige intelligentie (AI) onderzoekers weten dat er een probleem is in hoe huidige systemen de wereld waarnemen en verwerken. Op dit moment combineren ze nog steeds sensoren – zoals digitale camera's ontworpen voor het opnemen van beelden – met rekenapparaten zoals graphics processing units (GPU's) ontworpen om graphics voor videogames te versnellen.

Probleem: Irrelevante Data Verstopt Systeem

Dit betekent dat AI-systemen de wereld alleen waarnemen na het opnemen en transmitteren van visuele informatie tussen sensoren en processors. Maar veel dingen die gezien kunnen worden, zijn vaak irrelevant voor de taak aan de hand, zoals het detail van bladeren aan boombomen langs de weg terwijl een autonome auto voorbijrijdt. Op dit moment wordt al deze informatie in nauwkeurig detail vastgelegd door sensoren en verstuurd, wat het systeem verstopt met irrelevante data, energie verbruikt en verwerkingstijd in beslag neemt.

Inspiratie uit Natuurlijke Systemen

Onderzoekers hebben inspiratie gehaald uit de manier waarop natuurlijke systemen de visuele wereld verwerken – een mens zijn ogen en brein werken samen om de wereld zin te geven en in sommige gevallen voeren de ogen zelf verwerking uit om het brein te helpen wat niet relevant is te reduceren. De onderzoekers implementeerden Convolutional Neural Networks (CNNs), een vorm van AI-algoritme voor visueel begrip, direct op het beeldvlak. De CNNs kunnen frames duizenden keren per seconde classificeren zonder ooit deze beelden op te hoeven nemen of ze de verwerkingspijplijn af te sturen. De onderzoekers overwogen demonstraties van het classificeren van handgeschreven cijfers, handgebaren, en zelfs plankton.

Toekomst: Intelligente AI Camera's

SCAMP: Pixel Processor Array

Het werk omvat SCAMP, een camera-processorchip die het team beschrijft als een Pixel Processor Array (PPA). Een PPA heeft een processor ingebouwd in elke pixel die met elkaar kan communiceren om in werkelijk parallelle vorm te verwerken. Dit is ideaal voor CNNs en visie-algoritmen.

Integratie van waarneming, verwerking, en geheugen op pixelniveau maakt niet alleen hoogpresterende, lage-latentie systemen mogelijk, maar belooft ook laag-vermogen, hoog-efficiënte hardware. SCAMP-apparaten kunnen geïmplementeerd worden met voetafdrukken vergelijkbaar met huidige camera-sensoren, maar met de mogelijkheid om een algemene, massaal parallele processor direct bij het punt van beeldopname te hebben.