Op zicht gebaseerde bestuurdersbewakingssystemen winnen aan kracht

Iedereen die gelooft dat vision-based driver monitoring systems (DMS) overbodig of verouderd zijn, heeft geen aandacht besteed aan de recente marktontwikkelingen die in EE Times worden behandeld. . Zowel ondergerapporteerd als ondergewaardeerd - vooral onder in de VS gevestigde autofabrikanten en consumenten - dit is technologie die eindelijk aan het licht komt.

Ik presenteerde de DMS-keynote tijdens de recente EE Times evenement "Roadmap to the Next-Gen EV&AV" en ik gebruikte de volgende dia om de evolutie van de ADAS-markt voor voorwaartse camera's te laten zien als een verwijzing naar de groeimogelijkheden die in het verschiet liggen voor DMS en in-cabin monitoring-systemen (ICMS).

klik voor afbeelding op volledige grootte

(Bron:Semicast Research)

De ADAS-markt voor voorwaartse camera's wordt tot nu toe gedomineerd door Mobileye, met een marktaandeel dat ik schat op ongeveer 60%. Mobileye werd in 2017 in een zeer spraakmakende deal door Intel gekocht voor $ 15,3 miljard, maar wat deze dia laat zien, is het bescheiden begin van de ADAS-markt voor vooruitgeschoven camera's in de tien jaar vóór de overname van Intel.

Formulier F-1 ingediend door Mobileye in 2014 bij de Securities and Exchange Commission ter voorbereiding van de notering aan de New York Stock Exchange is nu een historisch document, maar is niettemin enorm informatief voor analisten zoals ik die precieze details van het verleden als nuttig zoeken gidsen voor de toekomst. Hieronder is een screenshot van een pagina die ik bijzonder inzichtelijk vond.

klik voor afbeelding op volledige grootte

(Bron:SEC-aanvraag)

Dit toont niet alleen aan hoe uitgebreid Mobileye in 2014 al zijn directe relaties met de autofabrikanten (OEM's) had ontwikkeld, maar ook met de eersteklas leveranciers. Merk op in de lijst van eerstelijnsleveranciers dat Magna als eerste wordt genoemd, en zoals in dit artikel van augustus 2006 wordt benadrukt, was Magna de eerste die de betekenis van de kans die ADAS voorwaartse cameratechnologie bood echt begreep en haar technische bekwaamheid in een partnerschap bracht met Mobileye.

Waarom schrijf ik over gebeurtenissen van vijftien jaar geleden? Lees verder en ik zal het belang uitleggen van een recente aankondiging die grotendeels verloren ging onder de heisa en razernij van Nvidia's recente GPU-technologieconferentie in 2021.

Magna betreedt de OMS-spiegelmarkt

Zoals te zien is in de volgende dia van Seeing Machines, evolueert de markt voor auto-interieurvisiesystemen van bestuurdersbewaking, met behulp van near-field-of-view (NFOV) beeldsensoren, naar inzittendenbewakingssystemen (OMS) die gebruik maken van wide-field- of-view (WFOV) beeldsensoren om alle inzittenden in de cabine te analyseren.

klik voor afbeelding op volledige grootte

(Bron:Machines zien)

In tegenstelling tot de voorwaartse camera van ADAS, was Magna lang niet de eerste die DMS aanbood, nadat ze door Aptiv, Denso, Joyson, LG Electronics, Mitsubishi, Mobis en Veoneer in serieproductie was verslagen. Magna lijkt echter een opmars te maken naar zijn concurrenten op het gebied van OMS en specifiek waar de optische componenten en bijbehorende elektronica zijn geïntegreerd in een oplossing op systeemniveau in de binnenspiegel.

Ik heb een screenshot gemaakt van een frame van de video en het hieronder gepresenteerd, dat de gedemonteerde spiegel laat zien en de integratie van de CMOS-beeldsensor en de PCB met de infrarood LED-zenders en beeldprocessor laat zien. Dit is een buitengewoon technisch hoogstandje dat des te indrukwekkender wordt door de schijnbare afwezigheid van een ventilator om de beeldprocessor te koelen.

Magna Mirror OMS (Bron:Magna)

Magna is niet de eerste die een binnenspiegel demonstreert met geïntegreerde optische componenten, zoals de volgende afbeeldingen van Continental's interieurcamera (ICAM) en Gentex's in-cabin sensing mirror laten zien. Maar net zoals het voor de ADAS-markt voor voorwaartse camera's heeft bereikt, geloof ik dat Magna nu een first-mover-voordeel heeft door autofabrikanten een alles-in-één OMS-spiegeloplossing te bieden.

(Bron:Continental)

Gentex Sensorspiegel in de cabine (Bron:Gentex)

Hoewel ik geen technische specificaties heb gezien voor Magna's OMS-spiegel, ben ik van mening dat deze hoogstwaarschijnlijk een CMOS-beeldsensor van OmniVision (waarschijnlijk de 2-megapixel OV2311), een Xilinx FPGA (Zynq-7000 of UltraScale+ MPSoC) combineert voor hoge- prestaties energiezuinige beeldverwerking, met monitoringsoftware voor gebruikers van Seeing Machines.

Veel van de technische problemen met betrekking tot het toezicht op de inzittenden en de bestuurder werden in detail besproken in de recente EE Times paneldiscussie over dit onderwerp, waarvan de samenvatting hier te lezen is.

Zoals mijn keynote al aangeeft, zullen de verzendingen voor DMS/OMS dit decennium drastisch groeien, aangezien adviesorganen zoals Euro NCAP en mandaten zoals de Europese Algemene Veiligheidsverordening autofabrikanten ertoe aanzetten technologie in te voeren die bestuurders betrouwbaar controleert op afleiding, slaperigheid en beperkingen. Dit geldt zelfs voor goedkope massamarktmodellen en ongeacht of het voertuig een handsfree-rijfunctie heeft, zoals GM's SuperCruise of Ford's BlueCruise, die beide gebruik maken van robuust vision-based DMS om de betrokkenheid van de bestuurder nauwkeurig te beoordelen.

De plaatsing van de optische IR-componenten in de cabine is een moeilijke maar cruciale beslissing voor autofabrikanten en een gecompliceerde technische uitdaging voor eersteklas leveranciers. Bij de huidige implementaties van bestuurdersbewaking is meestal de beeldsensor op de stuurkolom (Cadillac CT6), het instrumentenpaneel (BMW X5) of op de middenconsole (Subaru Forester) te zien.

De gemakkelijkste, snelste en meest kosteneffectieve locatie voor autofabrikanten om de benodigde optische IR-componenten en bijbehorende elektronica te integreren, is de binnenspiegel. Nu Euro NCAP in 2023 of 2024 DMS/OMS-tests gaat toevoegen aan zijn 5-sterrenveiligheidsclassificatie, is Magna's recente aankondiging van een volledig geïntegreerde interieurbewakingsspiegel daarom echt van belang.

Tesla vindt het [OMS] wiel opnieuw uit

Tesla haalt de laatste tijd de krantenkoppen omdat het probeert de binnencamera die in de Model 3 en Model Y is geïnstalleerd, opnieuw te gebruiken om bewakingsfuncties voor de bestuurder en de inzittenden te bieden. We kunnen in deze video meer van de voortgang zien, met name hoe luidruchtig de classificatie van de bestuurderstatus is en hoe gemakkelijk het systeem kan worden vervalst met een foto.

We zouden de OMS-algoritmen van Tesla beleefd kunnen omschrijven als zich in de vroege prototypefase bevinden en hoewel ze waarschijnlijk zullen verbeteren naarmate het wagenpark gegevens verzamelt, zal de betrouwbaarheid van het systeem voor veiligheidsdoeleinden uiteindelijk worden beperkt door de afwezigheid van IR-verlichting. Geen enkele over-the-air update kan dat onoplettendheid in het ontwerp verhelpen, waardoor wordt voorkomen dat de beeldsensor in het donker werkt, zoals te zien is in deze video.

Nu Consumer Reports heeft bewezen hoe gemakkelijk het is om de op koppel gebaseerde bestuurdersmonitor in Tesla's Autopilot te verslaan, willen andere autofabrikanten zeker samenwerken met eersteklas leveranciers zoals Magna en softwareleveranciers zoals Seeing Machines om betrouwbare monitoringsystemen voor bestuurders en inzittenden te integreren die zorgen voor een significante verbetering van de verkeersveiligheid, zoals besproken in de onderstaande video.

Elk veiligheidssysteem dat door een sinaasappel kan worden verslagen, is niet veilig. Zullen Elon Musk en Tesla de nederigheid hebben om toe te geven dat ze ongelijk hadden over de betekenis van DMS en OMS? Alles is mogelijk met Tesla, maar in dit geval houd ik mijn adem niet in. Voor alle anderen is de invoering van robuuste bewaking van bestuurders en inzittenden nog maar net begonnen.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Tijden.

Verwante inhoud:

• Het veranderende gezicht van autosoftware
• Uitdagingen voor autocameralinks overwinnen
• Er wachten meerdere OTA-update-opties op ontwikkelaars van autosoftware
• 60-GHz radar-op-chip ondersteunt de vereisten van de automobielindustrie
• ADAS-experts denken na over sensorintegratie in toekomstige voertuigen
• ADAS-experts denken na over sensorintegratie in toekomstige voertuigen

Abonneer u voor meer Embedded op de wekelijkse e-mailnieuwsbrief van Embedded.