Gestapelde sensorarchitectuur biedt geavanceerde zichtmogelijkheden

PARIJS  — Prophesee, een in Parijs gevestigde startup die pionierswerk heeft verricht met neuromorfische vision-systemen, presenteerde deze week op de International Solid-State Circuits Conference (ISSCC) in San Francisco een nieuwe, gestapelde, op gebeurtenissen gebaseerde vision-sensor die samen met Sony Corp is ontwikkeld.

De nieuwe sensor is ontworpen door de gebeurtenisgestuurde technologie van Prophesee en is gebouwd op technologieën die door Sony zijn ontwikkeld voor geavanceerde gestapelde CMOS-beeldsensoren.

Pixelchip (links) en logische chip (Bron:Prophesee)

Voor gebeurtenisgestuurde systemen biedt de nieuwe sensor de kleinste pixelgrootte in de branche en de hoogste high-dynamic range (HDR) prestaties in de branche, beweerde Prophesee. Met de op het brein geïnspireerde sensor zouden industriële machines, robots en autonome voertuigen de omgeving beter kunnen zien en voelen.

De samenwerking zou een nieuw tijdperk kunnen inluiden waarin AI - zowel AI-detectie als AI-verwerking - heel dicht bij de sensor zou kunnen plaatsvinden, zo niet op de sensor zelf, waar gegevens worden gegenereerd.

Wat hebben de twee bedrijven eraan?

Sony is 's werelds grootste CMOS-beeldsensorbedrijf. Het partnerschap verleent de nieuwe detectietechnologie van Prophesee commerciële geloofwaardigheid. Luca Verre, CEO van Prophesee, hoopt dat de verhuizing de deur zal openen voor de op gebeurtenissen gebaseerde camera's van Prophesee naar kansen op de massamarkt.

"Gezien de aard van onze technologie die veel transistors, elektronica en fotodiodes gebruikt, was werken met Sony altijd onze eerste keuze", vertelde Verre aan EE Times . De bedrijven zijn in 2017 gaan samenwerken. Verre beloofde dat monsters van de eerste gestapelde event-based vision-sensoren in 2020 beschikbaar zullen zijn.

De samenwerking met Prophesee kan een doorbraak betekenen voor Sony, waardoor de Japanse gigant de kans krijgt om event-driven vision-technologie te verkennen.

Pandora's doos

Pierre Cambou, hoofdanalist bij Yole Développement, beschouwt de samenwerking tussen Prophesee en Sony als gelijkwaardig aan "het openen van de doos van Pandora".

Pierre Cambou

In de neuromorfische camera ontwikkeld door Prophesee:"Elke pixel is in wezen een neuron", merkte Cambou op. Cambou noemde de ontwikkeling van chipstapeling 'nog in de beginfase' en voorspelde dat in de loop van de tijd neuronen, geheugen en verwerking allemaal op elkaar zouden kunnen worden gestapeld. Het huidige enthousiasme om meer intelligentie naar 'edge' of 'endpoint' te brengen, is een voorbode van een dag in de toekomst waarop AI wordt gedetecteerd en verwerkt in de sensor.

Sony kan een AI-geïntegreerde beeldsensor ontwikkelen die "beelden on-the-fly kan verbeteren", of een beeldsensor maken die "direct op gebeurtenissen gebaseerde detectie biedt", legt Cambou uit.

Iemand heeft zelfs al neurale netwerken toegepast op "Aankomst van een trein in La Ciotat"  — een beroemde vroege film gemaakt door de gebroeders Lumiere in 1896  - om ontbrekende pixels op te vullen. Die inspanning maakte het mogelijk om de 124 jaar oude film nieuw leven in te blazen en op te schalen naar 4K-video in 60 frames per seconde. Cambou beschreef zulke opgeschaalde video als een rage op internet en legde uit dat de kracht van AI goed is bewezen in de beeldverwerkingswereld.

Biomimicry-benadering van AI is een alternatief voor von Neumann computing. "Het zal belangrijker worden naarmate AI meer wijdverspreid wordt", zegt Cambou.

"Aankomst van een trein in La Cicotat", oorspronkelijk opgenomen door de Lumiere Brothers in 1896, werd opgeschaald naar 4K, 60 frames per seconde, door Denis Shiryaev

Bouwstenen voor gestapelde op gebeurtenissen gebaseerde vision-sensor

In de nieuw ontworpen gebeurtenisgestuurde sensor zijn de pixelchip (boven) en de logische chip (onder) op elkaar gestapeld. De logica bevat signaalverwerkingscircuits die zijn ontworpen om veranderingen in luminantie te detecteren op basis van een asynchrone deltamodulatiemethode.

Elke pixel van de twee afzonderlijke chips is elektrisch verbonden via een koper-koper verbinding in een gestapelde configuratie.

Hierdoor kan de nieuwe sensor de kleinste pixelgrootte van de branche (4,86 m) bereiken. Het levert ook 1/2 type, 1280×720 HD-resolutie door integratie met hoge dichtheid met een fijn 40nm logisch proces.

Een ander kenmerk van de nieuwe gebeurtenisgestuurde sensor is zijn vermogen om te bieden wat Prophesee beweert de hoogste HDR-prestaties in de branche te zijn:124 dB (of meer). Het team bereikte dit door alleen back-illuminated pixels en een deel van de N-type MOS-transistor op de pixelchip (boven) te plaatsen. Dit verbetert de diafragmaverhouding tot 77%, volgens Prophesee. Hoge gevoeligheid/lage ruistechnologieën die Sony in de loop der jaren heeft ontwikkeld voor CMOS-beeldsensoren die gebeurtenisdetectie mogelijk maakten bij weinig licht (40 mlx).

Werkverdeling?

Prophesee CEO Verre merkte op dat de rol van Sony in het partnerschap niet beperkt is tot een gieterij. Met gedegen kennis en een eigen IP-portfolio in op gebeurtenissen gebaseerde technologie, zei Verre:"We kwamen naar de tafel met een duidelijk idee over hoe we pixels wilden ontwerpen." De gezamenlijke inspanningen van de twee bedrijven maakten het nieuwe, gebeurtenisgestuurde sensorontwerp mogelijk - van analoog, logisch en vermogen - in combinatie met het geavanceerde productieproces van Sony.

De relatie is ook geen pure R&D-oefening, merkte Verre op. Het is de bedoeling om een ​​langdurige samenwerking aan te gaan die de technologie naar de commerciële markt zal brengen en tegelijkertijd toepassingen zal ontwikkelen.

Wat betekent dit voor Sony?

De wereld heeft veel spelers in CMOS-beeldsensoren. Cambou merkte op dat Sony de voorspelling ter harte nam dat CMOS-beeldsensoren "niet langer alleen over beeldvorming gaan, maar echt over detectie" - een evangelie dat Cambou al lang predikt.

Herinner je je Sony's overname in 2015 van het in België gevestigde SoftKinetic, een ontwikkelaar van 3D-sensing computer vision-technologieën? Cambou zei dat Sony door de overname een aandeel kon verwerven in de groeiende markt voor time of flight (ToF)-sensoren die leveranciers van Android-smartphones vorig jaar plotseling begonnen te eisen. Stel je voor wat er met Sony zou zijn gebeurd als het bedrijf toen niet had gedoken in de technologie voor dieptedetectie, zei Cambou.

Naar zijn mening is de samenwerking met Prophesee niet anders. Wanneer spelers in de automobiel- en industriële machinevisiemarkten op zoek gaan naar rijkere detectiegegevens om hun activiteiten te verbeteren, is de kans groter dat ze een nieuwe detectietechnologie toevoegen, in plaats van er nog een identieke camera in te gooien.

Kortom, Prophesee zou het bedrijf kunnen zijn dat Sony in staat stelt de markt voor beeldsensoren te betreden, net zoals SoftKinetic het voor Sony mogelijk maakte om "DepthSense"-oplossingen te ontwikkelen en deze door te ontwikkelen naar smartphones.

Nu past Sony met zijn DepthSense-technologie ToF-beeldsensoren in veel Android-smartphones. Dit draagt ​​bij aan de reeks overwinningen op het gebied van CMOS-beeldsensoren die Sony al heeft verzameld in de camera's aan de voor- en achterzijde van de smartphones.