AI-gestuurde sensor detecteert spectrale handtekeningen in gewassen en bladen met ongekende snelheid

Lawrence Berkeley National Laboratory, Berkeley, CA

Wetenschappers van Berkeley Lab hebben een intelligente sensor ontwikkeld die eerst de spectrale kenmerken van interesse "opsnuffelt" in voorbeeldobjecten - hier een gewastype (boven) of een blad (onder). Vervolgens zoekt de sensor de gespecificeerde doelen in een nieuwe omgeving - een die hij nog niet heeft gezien - zonder rommelige digitale verwerking. (Afbeelding: Ali Javey/Berkeley Lab)

Spectrale imaging en machine learning

Spectrale imaging-tools - camera's die kleuren vastleggen buiten het voor het menselijk oog zichtbare RGB-spectrum - zijn essentieel voor het verkrijgen van informatie over de materiaal- en structurele eigenschappen van een object. De combinatie met machine learning heeft een krachtige pijplijn opgeleverd voor het identificeren van kenmerken in real-world toepassingen zoals halfgeleiderfabricage, vervolgingssporing en gewasmonitoring.

Door AI-algoritmen in de sensor van de camera zelf te integreren, hebben onderzoekers van het Department of Energy's Lawrence Berkeley National Laboratory (Berkeley Lab) nu een dataverwerkingsknelpunt opgelost dat de prestaties van spectrale imaging-technologie lang heeft gehinderd. Het resultaat is een intelligente sensor die chemicaliën en materialen snel en efficiënt kan identificeren en karakteriseren.

"We richtten ons op het verbeteren van de snelheid, resolutie en energie-efficiëntie van bestaande spectrale machine vision-technologieën met meer dan twee orders of magnitude," zei Ali Javey, de wetenschapper die de Science-studie leidde waarin het apparaat wordt beschreven. Javey is Senior Faculty Scientist bij Berkeley Lab en hoogleraar materiaalkunde en engineering aan UC Berkeley. Het werk werd uitgevoerd in nauwe samenwerking met Aydogan Ozcan aan UCLA.

Nieuwe klasse AI vision hardware

Het sensorontwerp illustreert hoe nieuwe functionaliteit in halfgeleiderapparaten zelf kan worden ingebouwd om hun efficiëntie en bruikbaarheid te verbeteren, en een nieuwe klasse AI vision hardware mogelijk te maken.

Tegenwoordige spectrale imaging-technologieën hebben gescheiden sensor- en rekenmodules. De sensor vangt eerst een stapel afbeeldingen, elk overeenkomend met een bepaalde kleur. Vervolgens wordt de dichte afbeeldingsstapel naar een digitale processor gestuurd voor verdere berekening, wat resulteert in objectidentificatieresultaten. Daar ontstaan de problemen.

"De sensoren moeten veel meer data verzamelen en naar de digitale processor sturen dan normale camera's, ruwweg tien tot honderd keer groter in volume," zei Dehui Zhang, postdoc in de Materials Sciences Division van Berkeley Lab en eerste auteur van de studie. "Daardoor raken de sensor- en computerhardware vaak overbelast, waardoor objectherkenningstaken extreem langzaam en energiezuinig zijn."

AI-berekening tijdens fotodetectie

In plaats daarvan ontwikkelde het Berkeley Lab-team sensoren die AI-berekening en spectrale analyse uitvoeren tijdens het beeldopnameproces zelf - de fotodetectie.

"Fotodetectie kan worden gezien als een automatisch fysiek berekeningsproces," legde Zhang uit. "Wanneer licht de sensor raakt, wordt de intensiteit automatisch afbeeldend op de sterkte van een elektrische stroom. Omdat de gevoeligheid van de sensor voor licht gemakkelijk kan worden aangepast, hebben de onderzoekers een regelaar om te selecteren welke spectrale handtekeningen worden benadrukt en welke worden onderdrukt. De stroom die de sensor verlaat om door een circuit gelezen te worden, fungeert dus als een inferentie over de spectrale inhoud van de afbeelding."

"We hebben bewezen dat het berekeningsproces wiskundig overeenkomt met een algoritme dat typisch wordt gebruikt voor digitale machine learning," zei Zhang. "Deze analogie maakte het mogelijk om de sensor als een machine learning-computer te gebruiken en de machine learning-berekeningen op het binnenkomende licht zelf uit te voeren."

"Voor mij is het meest spannende deel het concept van intelligentie aan sensoren te geven," zei Javey. "Normale sensoren verzamelen alleen ruwe omgevingsinformatie, waarbij de intelligente herkenningstaken aan digitale processors worden overgelaten."

Door het gezamenlijk ontwerpen van halfgeleidermaterialen, apparaten en algoritmen, stelde het team de sensoren in staat te leren en te berekenen zonder de noodzaak voor digitale post-verwerking van data.

Brede toepassingsmogelijkheden

Maar de toepassingen van de technologie gaan ver voorbij het identificeren van vogels. Met behulp van fotodioden van zwart fosfor, toonden de onderzoekers experimenteel verschillende andere intrigerende mogelijkheden aan. Ze identificeerden met succes oxidelaagdiktes in halfgeleidermonsters - wat fabricagejachten perfect uniform nodig hebben - evenals hydratatiestatussen in verschillende plantenbladen, objectsegmentatie in optische afbeeldingen, en transparante chemicaliën in een petrischaal.

"Ik ben optimistisch over de toekomst van dergelijke apparaten voor bredere toepassingen," zei Javey. "In de toekomst kunnen de slimme sensoren niet alleen een thuis vinden in spectrale machine vision, maar ook in 'andere geavanceerde optische sensing en daarbuiten'."

Voor meer informatie, neem contact op met dit e-mailadres.