Inkjet-geprinte draagbare multispectrale 3D-lichtveldcamera ontgrendelt geavanceerde imagingtoepassingen

Optica, Washington D.C.

Onderzoekers gebruikten inkjetprinten om een multispectrale versie van een lichtveldcamera te creëren, die in de handpast past. De 3D-camera kan nuttig zijn voor toepassingen zoals autonoom rijden, classificatie van gerecycleerde materialen, en remote sensing. (Afbeelding: Maximilian Schambach, Karlsruhe Institute of Technology)

Simultane 3D-ruimtelijke en spectrale informatie

Onderzoekers hebben inkjetprinten gebruikt om een compacte multispectrale versie van een lichtveldcamera te creëren. De camera, die in de handpast past, kan nuttig zijn voor veel toepassingen waaronder autonoom rijden, classificatie van gerecycleerde materialen en remote sensing.

3D-spectrale informatie kan nuttig zijn voor het classificeren van objecten en materialen; het vastleggen van 3D-ruimtelijke en spectrale informatie van een scène vereist echter meestal meerdere apparaten of tijdrovende scanningsprocessen. Deze nieuwe lichtveldcamera lost de uitdaging op door 3D-informatie en spectrale data simultaan in een enkele snapshot te verkrijgen.

„Onze kennis naar is dit de meest geavanceerde en geïntegreerde versie van een multispectrale lichtveldcamera,” zei onderzoeksteamleider Uli Lemmer van het Karlsruhe Institute of Technology in Duitsland. „We combineerden het met nieuwe AI-methoden voor het reconstrueren van de diepte en spectrale eigenschappen van de scène om een geavanceerd sensoresysteem te creëren voor het verkrijgen van 3D-informatie.”

In het tijdschrift Optics Express rapporteren de onderzoekers dat de nieuwe camera en beeldreconstructiemethoden gebruikt kunnen worden om objecten in een scène te onderscheiden op basis van hun spectrale kenmerken. Het gebruik van inkjetprinten om de camera's sleuteloptische componenten te maken stelt in dat het gemakkelijk gecustomiseerd of in grote volumes geproduceerd kan worden.

„Gereconstrueerde 3D-data uit camera-afbeeldingen vinden wijdverspreid gebruik in virtuele en augmented reality, autonoom rijden, robotica, slimme huishoudapparaten, remote sensing, en andere toepassingen,” zei Michael Heizmann, een lid van het onderzoeksteam. „Deze nieuwe technologie kan bijvoorbeeld robots laten beter interacteren met mensen of de nauwkeurigheid van het classificeren en scheiden van materialen in recycling verbeteren. Het kan ook potentieel gebruikt worden om gezonde en zieke weefsels te classificeren.”

Technische uitvoering

Lichtveldcamera's, ook wel plenoptische camera's genoemd, zijn gespecialiseerde beeldvormingsapparaten die de richting en intensiteit van lichtstralen vastleggen. Na beeldverwerving wordt computationele verwerking gebruikt om 3D-beeldinformatie te reconstrueren uit de verkregen data. Deze camera's gebruiken typisch microlensarrays die uitgelijnd zijn met de pixels van een hoog-resolutiecamerachip.

Om een multispectrale lichtveldcamera te creëren, gebruikten de onderzoekers inkjetprinten om een enkele druppel materiaal te deposit om elke individuele lens op één kant van ultradunne microscopischuiven te vormen en printten daarna volledig uitgelijnde kleurfilterarrays aan de tegenoverliggende kant van de microscopischuiven. Het resulterende optische component werd direct geïntegreerd op een CMOS-camerachip. De inkjetprintmethode stelde precise uitlijning tussen de optische componenten toe, wat de productiecomplexiteit aanzienlijk verminderde en de efficiëntie verbeterde.

Omdat deze opstelling spectrale en diepte-informatie produceert die verweven zijn in de camera-afbeelding, ontwikkelden de onderzoekers methoden om elk component te scheiden. Ze vonden dat een op diep leren gebaseerde benadering het beste werkte voor het extraheren van de gewenste informatie direct uit de verkregen metingen.

„De uitdaging van het creëren van een multispectrale lichtveldcamera aan te gaan was alleen mogelijk door recente vooruitgang uit productie, systeemontwerp, en AI-gebaseerde beeldreconstructie te combineren,” zei Qiaoshuang Zhang, eerste auteur van het papier. „Dit werk duwt de grenzen van inkjetprinten — een veelzijdige methode met hoge precisie en industriële schaalbaarheid — voor het produceren van fotonische componenten.”

Testresultaten en toekomst

De onderzoekers testten de camera door een testscène op te nemen die multikleurige 3D-objecten op verschillende afstanden bevatte. Het beeldreconstructie-algoritme werd getraind en getest op veel synthetische en echte multispectrale afbeeldingen. De resultaten tonen aan dat de prototypecamera simultaan 3D-ruimtelijke en spectrale informatie kan verkrijgen en dat verschillende objecten kunnen worden afgebeeld en onderscheiden door hun verschillende spectrale samenstelling en diepte-informatie binnen één enkele snapshot.

Nu ze dit eerste proof-of-concept hebben voltooid, verkennen de onderzoekers diverse toepassingen waar een lichtveldcamera met de mogelijkheid om multispectrale informatie te verkrijgen nuttig kan zijn.

Voor meer informatie, neem contact op via dit e-mailadres (beveiligd tegen spambots, JavaScript vereist).