Door AI aangedreven sensor detecteert spectrale kenmerken in gewassen en bladeren met ongeëvenaarde snelheid

Lawrence Berkeley National Laboratory, Berkeley, CA

Wetenschappers van Berkeley Lab hebben een intelligente sensor ontwikkeld die eerst spectrale kenmerken ‘snuift’ die van belang zijn in voorbeeldobjecten – hier een soort gewas (boven) of blad (onder). Vervolgens zoekt het de gespecificeerde doelen op in een nieuwe omgeving – een omgeving die het nog niet eerder heeft gezien, terwijl omslachtige digitale verwerking wordt vermeden. (Afbeelding:Ali Javey/Berkeley Lab)

Spectrale beeldvormingshulpmiddelen – camera's die kleuren vastleggen die buiten het voor onze ogen zichtbare RGB-spectrum liggen – zijn van cruciaal belang voor het verzamelen van informatie over de materiaal- en structurele eigenschappen van een object. Door ze te combineren met machinaal leren is er een krachtige pijplijn ontstaan voor het identificeren van kenmerken in toepassingen in de echte wereld, waaronder de fabricage van halfgeleiders, het volgen van verontreinigende stoffen en het monitoren van gewassen.

Door AI-algoritmen in de sensor van de camera zelf te integreren, hebben onderzoekers van het Lawrence Berkeley National Laboratory (Berkeley Lab) van het Department of Energy nu een knelpunt in de gegevensverwerking geëlimineerd dat de prestaties van spectrale beeldtechnologie lange tijd heeft geplaagd. Het resultaat is een intelligente sensor die chemicaliën snel en efficiënt kan identificeren en materialen kan karakteriseren.

"We hebben ons gericht op het verbeteren van de snelheid, resolutie en energie-efficiëntie van bestaande spectrale machine vision-technologieën met meer dan twee orden van grootte", zegt Ali Javey, de wetenschapper die leiding gaf aan het Science-onderzoek dat over het apparaat rapporteerde. Javey is senior faculteitswetenschapper bij Berkeley Lab en hoogleraar materiaalkunde en techniek aan UC Berkeley. Het werk werd uitgevoerd in nauwe samenwerking met Aydogan Ozcan aan de UCLA.

Het sensorontwerp illustreert hoe nieuwe functionaliteit in halfgeleiderapparaten zelf kan worden ingebouwd om hun efficiëntie en bruikbaarheid te verbeteren en een nieuwe klasse van AI-vision-hardware mogelijk te maken.

De huidige spectrale beeldvormingstechnologieën hebben afzonderlijke sensor- en computermodules. De sensor legt eerst een stapel beelden vast, die elk overeenkomen met een bepaalde kleur. Vervolgens wordt de dichte beeldstapel naar een digitale processor gestuurd voor verdere berekening, die de objectidentificatieresultaten oplevert. Dat is waar de problemen ontstaan.

"De sensoren moeten veel meer gegevens verzamelen en naar de digitale processor sturen dan normale camera's, en in volume ongeveer tien tot honderd keer groter", zegt Dehui Zhang, een postdoc bij de Materials Sciences Division van Berkeley Lab en hoofdauteur van het onderzoek. Als gevolg hiervan worden de sensor- en computerhardware vaak overbelast, waardoor objectherkenningstaken extreem traag en energievretend zijn.

In plaats daarvan heeft het team van Berkeley Lab sensoren ontwikkeld die AI-berekeningen en spectrale analyses uitvoeren tijdens het proces van het vastleggen van beelden (of fotodetectie).

"Fotodetectie kan worden gezien als een automatisch fysiek computerproces", legt Zhang uit. Wanneer licht de sensor raakt, wordt de intensiteit ervan automatisch toegewezen aan de sterkte van een elektrische stroom. Omdat de reactie van de sensor op licht eenvoudig kan worden aangepast, hebben de onderzoekers een afstemknop waarmee ze kunnen selecteren welke spectrale kenmerken worden benadrukt en welke worden onderdrukt. De stroom die de sensor verlaat om door een circuit te worden gelezen, dient daarom als een gevolgtrekking over de spectrale inhoud van het beeld.

"We hebben bewezen dat het rekenproces wiskundig lijkt op een algoritme dat doorgaans wordt gebruikt voor digitaal machinaal leren", zegt Zhang. Deze analogie maakte het mogelijk om de sensor te gebruiken als een machine learning-computer en de machine learning-berekeningen uit te voeren op het binnenkomende licht zelf.

“Voor mij is het meest opwindende deel het concept van het geven van intelligentie aan sensoren”, aldus Javey. Normale sensoren verzamelen eenvoudigweg ruwe omgevingsinformatie en laten de intelligente herkenningstaken over aan digitale processors.

Door de halfgeleidermaterialen, apparaten en algoritmen mede te ontwerpen, stelde het team de sensoren in staat te leren en te berekenen zonder de noodzaak van digitale naverwerking van gegevens.

Maar toepassingen voor de technologie gaan veel verder dan het identificeren van vogels. Met behulp van fotodiodes van zwarte fosfor demonstreerden de onderzoekers experimenteel verschillende andere intrigerende mogelijkheden. Ze hebben met succes de dikte van de oxidelaag in halfgeleidermonsters geïdentificeerd – die productiereuzen perfect uniform moeten hebben – evenals de hydratatietoestanden in verschillende plantenbladeren, objectsegmentatie in optische beelden en transparante chemicaliën in een petrischaaltje.

"Ik ben optimistisch over de toekomst van dergelijke apparaten voor bredere toepassingen", zei Javey. In de toekomst zouden de slimme sensoren niet alleen een thuis kunnen vinden in spectrale machinevisie, maar ook in “andere geavanceerde optische detectie en daarbuiten.”

Neem voor meer informatie contact op met Dit e-mailadres wordt beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien..