Neuromorfe visie krijgt verschillende toepassingen

Op evenementen gebaseerd vision-bedrijf Prophesee heeft een aantal interessante toepassingen voor zijn vision-sensoren van over de hele wereld tentoongesteld, waaronder biotechnologie, wetenschappelijke analyse, robotica en ruimtetechnologieën. Eén project herstelde gedeeltelijk het gezichtsvermogen van een blinde; een ander volgt ruimteafval in de lucht, of het nu dag of nacht is.

Prophesee zei dat het een gemeenschap van 2200 uitvinders heeft die vandaag met zijn technologie werken. De projecten worden tentoongesteld als onderdeel van de uitvindersgemeenschap van Prophesee, die tot doel heeft toekomstige creativiteit te inspireren. Hier zijn de details.

Het zicht herstellen

Gensight Biologics heeft de visuele functie gedeeltelijk hersteld bij een patiënt met retinitis pigmentosa in een laat stadium. De behandeling maakt gebruik van een speciale bril die is uitgerust met een Prophesee event-based vision-sensor.

Als onderdeel van de therapie werd het netvlies van de patiënt behandeld met lichtgevoelige eiwitten afkomstig van algen, die retinale cellen gevoelig maken voor amber licht (590 nm). De Prophesee-zichtsensor maakt deel uit van een bril die het zichtsignaal omzet in amberkleurig licht met hoge intensiteit dat in het oog van de patiënt schijnt. Na zeven maanden de bril te hebben gebruikt, kon de patiënt (die voorheen volledig blind was) goed genoeg zien om een ​​zebrapad op straat te detecteren. Hij kon een notitieboekje op een tafel voor hem herkennen (92% van de tijd) en een etui (36% van de tijd). Hij kon voorwerpen pakken en tellen.

Gensight Biologics heeft de Prophesee-sensor geïntegreerd in een bril die beelden van de wereld omzet in amberkleurig licht. Gemodificeerde cellen op het netvlies van de patiënt kunnen dit licht detecteren en er betekenis aan geven. (Bron:Gensight Biologics / Prophesee)

De patiënt ziet de randen van vormen dankzij de Prophesee-sensor, die een snelle en vloeiende visuele ervaring biedt, die bestand is tegen lichtomstandigheden. De sensor genereert schaarse gegevens; er wordt geen tijd besteed aan het opnieuw coderen van afbeeldingen.

Resultaten van de studie, uitgevoerd in samenwerking met de Universiteit van Basel-UPMC, werden gepubliceerd in Nature Medicine. Hoewel dit werk slechts betrekking had op één patiënt en voorlopig is, moet het worden gezien als een significant resultaat voor het toepassen van deze techniek en het behandelen van patiënten met neurodegeneratieve ziekten en meer.

Celtherapie

Cambridge Consultants in het VK gebruikt de Prophesee-sensor in een medisch beeldvormingssysteem voor celtherapie. Celtherapie biedt mogelijkheden voor de behandeling van kanker, auto-immuunziekten en neurologische ziekten, onder meer op basis van het herprogrammeren van de eigen cellen van een patiënt. Het vervaardigen van de opnieuw geprogrammeerde cellen is een arbeidsintensief, handmatig proces waarbij een enkele dosis gemiddeld $ 475.000 kost.

Een belangrijke stap in het proces is om te controleren of monsters steriel zijn. Dit kan 7-14 dagen duren voor incubatie, terwijl de patiënt op behandeling wacht. Als er verontreinigingen worden gedetecteerd, moeten nieuwe monsters worden genomen en begint de incubatietijd opnieuw. Cambridge Consultants gebruikten de beeldsensor van Prophesee om monsters op celniveau te bekijken, met AI-modellen om verontreinigingen in realtime te detecteren, volgen en classificeren (<18 ms vergeleken met 7-14 dagen).

PureSentry gebruikt de Prophesee-sensor in combinatie met AI om verontreinigingen (in dit geval E.coli) te detecteren op basis van grootte, vorm en beweging. (Bron:Cambridge Consultants)

Het PureSentry-systeem dat door Cambridge Consultants is ontwikkeld, kan zowel menselijke cellen als verontreinigingen met precisie en nauwkeurigheid volgen, voorlopen op andere technieken. Het bedrijf toonde een video waarin E.Coli-bacteriën worden gedetecteerd in een monster op basis van hun grootte, vorm en karakteristieke beweging. Het werkt in moeilijkere omstandigheden, zoals weinig licht en hoge stroomsnelheden, en is een niet-destructieve test. Dit apparaat kan helpen de automatisering in het celtherapieproces te vergroten; hoogopgeleide technici zijn niet vereist.

Partikels volgen

Een team van de Universiteit van Glasgow, Heriot-Watt University en de University of Strathclyde heeft de beeldsensor van Prophesee gebruikt voor het detecteren en volgen van deeltjes met hoge snelheid. Het doel is om microfluïdische analyse sneller en goedkoper te maken.

Het team slaagde erin deeltjes tot 1 µm te profileren in vloeistofsnelheden met een snelheid van 1,54 m/s en gegevens vast te leggen met een tijdsresolutie die gelijk is aan 20.000 beelden per seconde. Hun opstelling maakt gebruik van de Prophesee event-based vision-sensor met een standaard fluorescentiemicroscoop en verlichting.

Robotaanraking

Onderzoekers van de National University of Singapore gebruiken op gebeurtenissen gebaseerde visie in combinatie met een nieuwe aanraaksensortechnologie om een ​​tastgevoel voor robotarmen en -handen op te bouwen.

De door de onderzoekers ontwikkelde aanraaksensor, NeuTouch, is een reeks van 39 sensoren die op de vingertop van de robot zijn gemonteerd. Deze sensor produceert "piek"-signalen, vergelijkbaar met de Prophesee-sensor, die kan worden verwerkt door een neuromorfe processor (met name Intel Loihi).

De NeuTouch-sensor van de National University of Singapore is qua grootte vergelijkbaar met een menselijke vinger (A), is samengesteld uit delen die analoog zijn aan botten en huid (B) en bevat 39 tactiele pixels of 'tactels' (C). (Bron:Nationale Universiteit van Singapore / Prophesee)

Dit werk is belangrijk omdat het een manier laat zien om gegevens van meerdere sensoren (de aanraaksensor en de Prophesee-sensor) tegelijkertijd te integreren en te extraheren, op een manier die geschikt is voor complexe taken in systemen met beperkte stroomvoorziening.

De robot is getraind om containers met verschillende hoeveelheden vloeistof op te pakken; het was in staat om te bepalen wat de vloeistof was en hoeveel het woog. De gewichtsinformatie kwam van de vision-sensor vanwege de manier waarop elke container vervormde bij het oppakken.

De robot is getest met de "sliptest" - het bepalen van de minimale hoeveelheid druk die nodig is om het object stevig vast te pakken. Dankzij een combinatie van tast- en zichtdetectie kon het systeem slippen zeer snel detecteren, 1000x sneller dan menselijke aanraking, waarbij rotatieslip in 0,08sec werd gedetecteerd.

De onderzoekers hopen dat deze technologie kan worden gebruikt voor industriële robotica en zelfs om de tastzin van prothetische handen te herstellen.

Lees EE Times ’ rapporteer hier over deze opwindende technologie.

Ruimtepuin

Western Sydney University heeft Astrosite ontwikkeld, een mobiel observatorium dat Prophesee-technologie gebruikt in combinatie met telescopen om ruimtepuin in een baan rond de aarde te volgen.

Astrosite telescoop observatoria klaar om ingezet te worden (Bron:Western Sydney University)

Door het groeiende aantal satellieten in een baan om de aarde neemt het risico op botsingen met andere objecten toe; er zijn ongeveer 4850 satellieten in de ruimte, maar slechts ongeveer 40% is actief. Het monitoren van dode satellieten en ander puin wordt meestal gedaan met camera's met een hoge resolutie, die niet ideaal zijn voor het vastleggen van beelden bij daglicht. Ze nemen ook grotendeels lege ruimte in beslag, waardoor er veel onnodige gegevens worden verwerkt.

Event-based sensing is een goede oplossing omdat het gegevens vastlegt over veranderingen in het gezichtsveld. Astrosite genereert 10x tot 1000x minder data met behulp van de Prophesee event-based sensor dan een conventioneel camerasysteem. Het kan ook continu puin bewaken (dag en nacht) met een tijdresolutie van microseconden, bij een laag stroomverbruik.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times Europe.

Verwante inhoud:

• Neuromorfe AI-chips voor het debuut van neurale netwerken
• Sensorfusie maakt robotgreep mogelijk
• Gestapelde sensorarchitectuur biedt geavanceerde zichtmogelijkheden
• Machine learning-algoritme maakt gebruik van ReRAM-variabiliteit
• Tools gaan hoger in de waardeketen om het mysterie uit Vision AI te halen

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.