Neuromorfe visie drijft doorbraken van gezondheidszorg tot ruimtevaart

Prophesee's evenement-gebaseerde visiesensoren veranderen al een breed scala aan velden - van het herstellen van gezicht bij patiënten tot het opsporen van ruimtevuil 's nachts. Met een wereldwijde gemeenschap van 2.200 uitvinders bewijst de technologie van het bedrijf dat snelle, laag-energie visie concrete resultaten kan leveren in real-toepassingen.

Gezicht herstellen bij een blinde patiënt

Gensight Biologics ging een samenwerking aan met Prophesee om brillen te creëren die visuele informatie omzetten in amber licht (590 nm). Het licht activeert fotogevoelige eiwitten die aan de netvlies van een patiënt worden geleverd, waardoor het oog het signaal kan interpreteren. Na zeven maanden gebruik kon de voormalig blinde patiënt een voetgangersoversteekplaats identificeren, een notitieblok op een tafel 92% van de tijd opsporen, en een penhouder 36% van de tijd detecteren. Hij kon ook objecten grijpen en tellen. De studie, gepubliceerd in Nature Medicine in samenwerking met de Universiteit Basel-UPMC, toont de capaciteit van de sensor om snelle, continue visuele data te leveren zonder de overhead van hercodering van beelden.

Gensight Biologics brillen vertalen beelden naar amber licht, zodat gewijzigde netvliescellen de wereld kunnen waarnemen. (Bron: Gensight Biologics / Prophesee)

Versnellen van celtherapie-productie

De productie van patiënt-specifieke celtherapieën is tijdrovend en duur - een gemiddelde dosis kan $475.000 kosten. Cambridge Consultants gebruikte Prophesee's sensor om celcultures in real-time te monitoren, waarbij bacteriële contaminanten in minder dan 18 ms worden gedetecteerd versus de traditionele 7-14 dagen incubatie. Het PureSentry-systeem kan pathogenen zoals E. coli identificeren, volgen en classificeren terwijl het in laag licht en hoge stroomsnelheden werkt, wat een non-destructieve, geautomatiseerde sterilitietest mogelijk maakt die de behoefte aan hooggekwalificeerde technici vermindert.

PureSentry combineert Prophesee visie met AI om contaminanten te detecteren op grootte, vorm en beweging. (Bron: Cambridge Consultants)

Microfluidische deeltjesvolging

Een consortium van universiteiten (Glasgow, Heriot-Watt, Strathclyde) gebruikte Prophesee's sensor om 1 µm deeltjes die bewegen met 1,54 m/s vast te leggen met een temporele resolutie van 20.000 frames per seconde. De opstelling, die de sensor combineert met een standaard fluorescentiemicroscoop, belooft snellere, goedkopere microfluidische analyse.

Robotische tastende visie

Onderzoekers aan de Nationale Universiteit van Singapore combineerden Prophesee's evenement-gebaseerde visie met een nieuwe tastarray - NeuTouch - om robotarmen een gevoel van tasten te geven. De 39-pixel "tactel" array, van de grootte van een menselijke vingertop, produceert spikeseinzen die een Intel Loihi neuromorfische processor interpreteert naast visuele data. De robot leerde containers met varierende vloeistofinhoud op te pikken, waarbij zowel type als gewicht werden bepaald door containerdeformatie te observeren. In een glijtest detecteerde de gecombineerde sensor-suite glijden 1.000x sneller dan menselijke tast, waarbij rotatieglijden in slechts 0,08 s werden geïdentificeerd.

NeuTouch: een vingertop-grote tastsensor-array geïntegreerd met Prophesee visie voor robotische perceptie. (Bron: NUS / Prophesee)

Ruimtevuil volgen

Western Sydney University's Astrosite mobiele observatorium koppelt Prophesee sensoren aan telescopen om baanvliegend vuil te monitoren. Met 4.850 satellieten in een baan om de aarde en slechts ~40% actief, is passief vuilvolgen essentieel. Conventionele camera's produceren excessieve data en worstelen in daglicht. Astrosite's evenement-gebaseerde benadering genereert 10- tot 1.000-voudig minder data, wat continue monitoring met microseconde-resolutie en laag vermogen mogelijk maakt - zowel bij dag als bij nacht.

Astrosite observatoria klaar voor implementatie. (Bron: Western Sydney University)

Deze diverse projecten illustreren hoe evenement-gebaseerde visie snelheid, efficiëntie en robuustheid levert in diverse industrieën, van gezondheidszorg tot ruimtevaart.

Gerelateerde onderwerpen:

• Neuromorfe AI-chips voor spikende neurale netwerken debuteren
• Sensorfusie maakt robotische greep mogelijk
• Gestapelde sensorarchitectuur brengt geavanceerde visiemogelijkheden
• Machine learning algoritme benut ReRAM-variabiliteit
• Tools verplaatsen zich omhoog in de waarderketen om het mysterie uit Vision AI te halen

Voor meer Embedded-inhoud, abonneer u op de wekelijkse e-nieuwsbrief van Embedded.