Camera's leren en begrijpen wat ze zien

Robotici en onderzoekers van kunstmatige intelligentie (AI) weten dat er een probleem is in de manier waarop huidige systemen de wereld waarnemen en verwerken. Momenteel combineren ze nog steeds sensoren - zoals digitale camera's die zijn ontworpen voor het opnemen van afbeeldingen - met computerapparatuur zoals grafische verwerkingseenheden (GPU's) die zijn ontworpen om de grafische weergave voor videogames te versnellen.

Dit betekent dat AI-systemen de wereld pas waarnemen na het vastleggen en verzenden van visuele informatie tussen sensoren en processors. Maar veel dingen die te zien zijn, zijn vaak niet relevant voor de uit te voeren taak, zoals de details van bladeren aan bomen langs de weg als een autonome auto voorbijrijdt. Op dit moment wordt al deze informatie door sensoren tot in de kleinste details vastgelegd en verzonden, waardoor het systeem verstopt raakt met irrelevante gegevens, stroomverbruik en verwerkingstijd in beslag nemen.

Onderzoekers hebben inspiratie ontleend aan de manier waarop natuurlijke systemen de visuele wereld verwerken - de ogen en hersenen van een mens werken samen om de wereld te begrijpen en in sommige gevallen voeren de ogen zelf verwerking uit om de hersenen te helpen verminderen wat niet relevant is. De onderzoekers implementeerden Convolutional Neural Networks (CNN's), een vorm van AI-algoritme om visueel begrip mogelijk te maken, direct op het beeldvlak. De CNN's kunnen frames duizenden keren per seconde classificeren zonder ooit deze beelden op te hoeven nemen of door de verwerkingspijplijn te hoeven sturen. De onderzoekers overwogen demonstraties van het classificeren van handgeschreven getallen, handgebaren en zelfs plankton.

Het onderzoek suggereert een toekomst met intelligente speciale AI-camera's - visuele systemen die eenvoudig informatie op hoog niveau naar de rest van het systeem kunnen sturen, zoals het type object of gebeurtenis die voor de camera plaatsvindt. Deze aanpak zou systemen veel efficiënter en veiliger maken omdat er geen beelden hoeven te worden opgenomen.

Het werk bevat SCAMP, een camera-processorchip die het team omschrijft als een Pixel Processor Array (PPA). Een PPA heeft een processor ingebed in elke pixel die met elkaar kan communiceren om in echt parallelle vorm te verwerken. Dit is ideaal voor CNN's en vision-algoritmen.

Integratie van detectie, verwerking en geheugen op pixelniveau maakt niet alleen krachtige systemen met lage latentie mogelijk, maar belooft ook energiezuinige, zeer efficiënte hardware. SCAMP-apparaten kunnen worden geïmplementeerd met footprints die vergelijkbaar zijn met de huidige camerasensoren, maar met de mogelijkheid om een ​​massaal parallelle processor voor algemeen gebruik te hebben, precies op het moment dat de afbeelding wordt vastgelegd.