Met inkjet geprinte draagbare multispectrale 3D-lichtveldcamera maakt geavanceerde beeldtoepassingen mogelijk

Optica, Washington D.C.

Onderzoekers gebruikten inkjetprinten om een multispectrale versie van een lichtveldcamera te maken, die in de palm van de hand past. De 3D-camera kan nuttig zijn voor toepassingen zoals autonoom rijden, classificatie van gerecyclede materialen en teledetectie. (Afbeelding:Maximilian Schambach, Karlsruhe Instituut voor Technologie)

Onderzoekers hebben inkjetprinten gebruikt om een compacte multispectrale versie van een lichtveldcamera te maken. De camera, die in de palm van de hand past, zou voor veel toepassingen nuttig kunnen zijn, waaronder autonoom rijden, classificatie van gerecyclede materialen en teledetectie.

3D-spectrale informatie kan nuttig zijn voor het classificeren van objecten en materialen; Voor het vastleggen van ruimtelijke en spectrale 3D-informatie van een scène zijn echter doorgaans meerdere apparaten of tijdintensieve scanprocessen nodig. Deze nieuwe lichtveldcamera lost de uitdaging op door tegelijkertijd 3D-informatie en spectrale gegevens in één momentopname te verzamelen.

“Voor zover wij weten is dit de meest geavanceerde en geïntegreerde versie van een multispectrale lichtveldcamera”, zegt onderzoeksteamleider Uli Lemmer van het Karlsruhe Institute of Technology in Duitsland. “We hebben het gecombineerd met nieuwe AI-methoden voor het reconstrueren van de diepte en spectrale eigenschappen van de scène om een geavanceerd sensorsysteem te creëren voor het verkrijgen van 3D-informatie.”

In het tijdschrift Optics Express de onderzoekers melden dat de nieuwe camera- en beeldreconstructiemethoden kunnen worden gebruikt om objecten in een scène te onderscheiden op basis van hun spectrale kenmerken. Door inkjetprinten te gebruiken om de belangrijkste optische componenten van de camera te maken, kan deze eenvoudig worden aangepast of in grote volumes worden geproduceerd.

“Gereconstrueerde 3D-gegevens uit camerabeelden worden op grote schaal gebruikt in virtuele en augmented reality, autonome auto’s, robotica, slimme apparaten voor thuisgebruik, teledetectie en andere toepassingen”, zegt Michael Heizmann, lid van het onderzoeksteam. "Deze nieuwe technologie zou robots bijvoorbeeld in staat kunnen stellen beter met mensen te communiceren of de nauwkeurigheid van het classificeren en scheiden van materialen bij recycling te verbeteren. Het zou ook potentieel kunnen worden gebruikt om gezonde en zieke weefsels te classificeren."

Lichtveldcamera's, ook wel plenoptische camera's genoemd, zijn gespecialiseerde beeldapparatuur die de richting en intensiteit van lichtstralen vastleggen. Na beeldacquisitie wordt computationele verwerking gebruikt om 3D-beeldinformatie te reconstrueren uit de verkregen gegevens. Deze camera's maken doorgaans gebruik van microlensarrays die zijn uitgelijnd met de pixels van een camerachip met hoge resolutie.

Om een multispectrale lichtveldcamera te creëren, gebruikten de onderzoekers inkjetprinten om een enkele druppel materiaal aan te brengen om elke individuele lens aan één kant van ultradunne microscoopglaasjes te vormen en vervolgens volledig uitgelijnde kleurenfilterarrays op de andere kant van de microscoopglaasjes te printen. De resulterende optische component werd rechtstreeks op een CMOS-camerachip geïntegreerd. De inkjetprintmethode maakte een nauwkeurige uitlijning tussen de optische componenten mogelijk, waardoor de productiecomplexiteit aanzienlijk werd verminderd en de efficiëntie werd verbeterd.

Omdat deze opstelling spectrale en diepte-informatie oplevert die verweven zijn in het camerabeeld, ontwikkelden de onderzoekers methoden om elke component te scheiden. Ze ontdekten dat een aanpak gebaseerd op deep learning het beste werkte om de gewenste informatie rechtstreeks uit de verkregen metingen te halen.

“Het aanpakken van de uitdaging van het creëren van een multispectrale lichtveldcamera was alleen mogelijk door recente ontwikkelingen op het gebied van productie, systeemontwerp en op AI gebaseerde beeldreconstructie te combineren”, zegt Qiaoshuang Zhang, eerste auteur van het artikel. “Dit werk verlegt de grenzen van inkjetprinten – een veelzijdige methode met hoge precisie en industriële schaalbaarheid – voor het vervaardigen van fotonische componenten.”

De onderzoekers testten de camera door een testscène op te nemen met veelkleurige 3D-objecten op verschillende afstanden. Het beeldreconstructie-algoritme is getraind en getest op veel synthetische en echte multispectrale beelden. De resultaten tonen aan dat de prototypecamera tegelijkertijd ruimtelijke en spectrale 3D-informatie kan verwerven en dat verschillende objecten in één enkele momentopname kunnen worden afgebeeld en onderscheiden door hun verschillende spectrale samenstelling en diepte-informatie.

Nu ze dit eerste proof-of-concept hebben voltooid, onderzoeken de onderzoekers verschillende toepassingen waarbij een lichtveldcamera met de mogelijkheid om multispectrale informatie te verwerven nuttig zou kunnen zijn.

Neem voor meer informatie contact op met Dit e-mailadres wordt beschermd tegen spambots. U heeft Javascript nodig om het te kunnen zien..