Ambarella, Lumentum en ON Semiconductor werken samen aan op AI-verwerking gebaseerde 3D-detectie voor next-gen AIoT-apparaten

Ambarella, een AI vision-siliciumbedrijf, Lumentum, een ontwerper en fabrikant van innovatieve optische en fotonische producten, en ON Semiconductor, een leverancier van CMOS-beeldsensoroplossingen, zijn een samenwerking aangegaan om twee nieuwe gezamenlijke referentieontwerpen te produceren waarvan ze zeggen dat ze zullen " versnel de implementatie van kunstmatige intelligentie van apparaten in verschillende branches”.

De ontwerpen bouwen voort op de eerdere gezamenlijke oplossing van de bedrijven voor contactloze toegangssystemen.

Door de gegevens van de krachtige VCSEL-array-illuminators van Lumentum en een ON Semiconductor-beeldsensor te combineren met Ambarella's AI SoC, kunnen hogere niveaus van nauwkeurigheid en intelligentere besluitvorming worden bereikt in AIoT-apparaten van de volgende generatie voor biometrische toegangscontrole, 3D elektronische sloten en andere intelligente detectietoepassingen.

Oorspronkelijk bedoeld voor biometrische toegangscontrole en elektronische sloten, kunnen deze nieuwe referentieontwerpen ook tegemoet komen aan de behoeften van slimme steden, slimme gebouwen, slimme huizen en intelligente gezondheidszorg.

Bovendien verlaagt het hoge integratieniveau dat door deze gezamenlijke oplossingen wordt geboden, het stroomverbruik van het systeem en de thermische ontwerpvereisten aanzienlijk, terwijl veel kleinere productvormfactoren mogelijk zijn.

Fermi Wang, president en CEO van Ambarella, zegt:"Ambarella's visie is om AI-verwerking te combineren met 3D en vision sensing om een ​​ambient-intelligente toekomst te creëren.

“Deze samenwerking met Lumentum en ON Semiconductor zal de convergentie van AI en IoT verder bevorderen om een ​​nieuwe generatie toegangscontrolesystemen mogelijk te maken, terwijl nieuwe categorieën van omgevingsdetectieproducten worden geïnspireerd – allemaal aangedreven door de fusie van sensoren met behulp van AI vision-processors die intelligent samenwerken en onopvallend met mensen om in hun steeds veranderende behoeften te voorzien.”

Téa Williams, senior vice president en general manager, 3D sensing bij Lumentum, zegt:"Onze nieuwe gezamenlijke oplossingen zullen de nauwkeurigheid van AIoT-apparaten in alle verticale applicaties aanzienlijk vergroten - te beginnen met biometrische toegangscontrole en elektronische sloten - waardoor ze mensen kunnen herkennen en voorspellen hun behoeften, in plaats van een directe menselijke interface te vereisen.

“Veel van deze toepassingen zullen profiteren van 3D-detectie om een ​​nieuwe dimensie van gegevensinvoer te injecteren voor verbeterde besluitvorming. Het gebruik van op VCSEL gebaseerde spotverlichting met een hogere resolutie maakt bijvoorbeeld een groter detectiebereik en een nauwkeuriger gezichtsherkenning mogelijk.

"Lumentum's toonaangevende en krachtige VCSEL-arrays zonder veldstoringen, die in deze gezamenlijke oplossingen worden gebruikt, stimuleren nieuwe toepassingen en helpen de droom van AIoT-apparaten met 3D-detectiemogelijkheden te realiseren."

Gianluca Colli, vice-president en algemeen directeur van de groep industriële en consumentensensoren (ICSD) bij ON Semiconductor, zegt:"Beeldsensoren zijn de ogen voor intelligente detectieapparaten. Hun vermogen om verder te kijken met meer details, biedt aanzienlijk meer informatie voor de besluitvorming van de AI-processor in AIoT-apparaten.

"Onze toonaangevende RGB-IR-sensortechnologie, gecombineerd met de geavanceerde ISP-mogelijkheden van Ambarella's AI vision SoC's, kan zowel zichtbare als IR-beelden tegelijkertijd naar apparaten brengen. Voor deze tweede generatie van onze gezamenlijke oplossingen hebben we gebruik gemaakt van feedback van klanten om de resolutie van onze RGB-IR-beeldsensoren te verviervoudigen tot 4K (8MP).”

De nieuwe gezamenlijke AIoT-oplossingen van de drie bedrijven bestaan ​​uit twee referentieontwerpen en aanvullende ontwikkelingskits voor 3D-detectie, elk uniek geconfigureerd om te voldoen aan toepassingsspecifieke eisen voor de combinatie van AI-verwerking, 3D-dieptewaarneming en zichtdetectie:

Het Vision+-referentieontwerp, gericht op biometrische toegangscontrolelezers van de volgende generatie, is de eerste 4K-oplossing van de AIoT-industrie die detectie van gestructureerd licht met één camera, 940nm op basis van RGB-IR-technologie uitvoert.

Het is ook de eerste die gebruikmaakt van een single-chip-oplossing voor diepteverwerking, AI-verwerking en videoverwerking. Gebaseerd op de Ambarella CV22 CVflow AI vision-processor, bevat het een camera met gestructureerde lichtdetectie aangedreven door Lumentum's VCSEL-technologie, met een bereik van 2 meter, en een 4K (8MP) RGB-IR CMOS-beeldsensor van ON Semiconductor.

Gericht op de volgende generatie slimme elektronische deursloten, of eLocks, voor zowel commerciële als residentiële toepassingen, is het Saturn-referentieontwerp de eerste in de AIoT-industrie die AI-verwerking integreert voor zowel gestructureerde lichtdetectie met één camera als snel opstartende videoverwerking.

Het is gebaseerd op de Ambarella CV25 CVflow AI vision-processor en bevat een camera met gestructureerd licht aangedreven door Lumentum's VCSEL-technologie en de AR0237CS 2MP RGB-IR-beeldsensor van ON Semiconductor.

Gericht op intelligente detectietoepassingen en met kansen in verschillende branches, kunnen Ambarella's CV2-serie CVflow AI vision-processorgebaseerde ontwikkelkits nu worden uitgerust met ToF-sensoradapters die worden aangedreven door Lumentum's toonaangevende VCSEL-arrays. Voor deze kits is ook een optionele 4K RGB-IR-beeldsensoradapter verkrijgbaar.

De open software development kit (SDK) voor Ambarella's CVflow AI vision-processors maakt de gemakkelijke integratie van applicaties van derden mogelijk, terwijl OEM's in staat zijn om verschillende regionale vereisten aan te pakken met één enkel platform (bijvoorbeeld door verschillende AI-algoritmen in verschillende regio's te gebruiken).

Bovendien breidt deze robuuste, op Linux gebaseerde SDK de mogelijkheden van edge-sensing-apparaten uit, vereenvoudigt het productontwikkeling en versnelt het de time-to-market door:

• Aangepaste applicatie-ontwikkelingsmogelijkheden
• Ondersteuning voor verschillende 3D-modaliteiten, waaronder gestructureerd licht en ToF. Uniek is dat een enkele Ambarella SoC 3D-detectieverwerking biedt zonder dat er een speciale diepteprocessor of een afzonderlijke hostprocessor nodig is
• Hoge AI-inferentiemogelijkheden op het camera-apparaat om meerdere neurale netwerken tegelijk mogelijk te maken
• Robuuste AI-tools ter ondersteuning van de ontwikkeling en migratie van diepe neurale netwerken
• Geïntegreerde ISP om uitdagende scènes aan te kunnen, inclusief scenario's met een hoog dynamisch bereik en weinig licht
• Ingebouwde Arm-processors om klantapplicaties uit te voeren
• Geïntegreerde beveiligingshardware, inclusief veilig opstarten, OTP om encryptiesleutels op te slaan en Arm TrustZone-technologie voor veilige vergelijkingen van encryptiesleutels
• Uitgebreide ondersteuning voor randapparatuur om systeemontwerpen te vereenvoudigen

Beschikbaarheid

Deze gezamenlijke referentieontwerpen en ontwikkelkits zullen naar verwachting in juni beschikbaar zijn. Meer informatie is verkrijgbaar bij Ambarella.