Hoe Sensorsystemen de Functionaliteit van ADAS Aansturen

Interview met Alberto Marinoni (TDK/Invensense) over Sensoren voor Geautomatiseerd Rijden

Om de laatste informatie over sensoren voor geautomatiseerde rijsystemen te vinden, interviewde ik Alberto Marinoni, Director of Product Marketing, TDK/Invensense (San Jose, CA).

De veelvoorkomende term Advanced Driver Assistance Systems (ADAS) verwijst essentieel naar SAE Level 2 (L2), Partial Driving Automation. Op dat niveau moet de bestuurder in de auto zijn en alert – ze kunnen geen boek lezen, bijvoorbeeld – dat zou Level 3 of hoger vereisen. (Het hoogste niveau – 5 – is een volledig geautomatiseerd voertuig dat niet eens een van ons mensen in het voertuig nodig heeft.)

In Level 2 kan de auto automatisch lengterichting (versnelling/afremming) of lateraal (sturen) worden beheerd, afhankelijk van de applicatie. Echter, de bestuurder moet aanwezig zijn, ogen op de weg houden, en alert zijn om controle over te nemen indien nodig. In tegenstelling, kan Level 1 geautomatiseerd remmen/versnellen OF lateraal sturen, maar niet beide.

Voor L2 zijn er meerdere sensoren, inclusief camera's, radar, en inertiële meetunits (IMU's). Een globaal navigatiesatellietstelsel (GNSS), zoals GPS, is ook inbegrepen.

Voor bepaalde L2-toepassingen, hoewel niet de meerderheid, is lidar ook beschikbaar, hoewel dat hoofdzakelijk voor Level 3 is. Het is niet altijd in L2 opgenomen vanwege de hoge kosten ten opzichte van de andere technologieën. Marinoni legt uit dat radar een lange-afstand detector is – het gebruik is voor obstakeldetectie op afstand – om de auto te waarschuwen dat er iets voor het voertuig aanwezig is. Lidar voegt toe aan de automatisatiemix door objecten in detail te herkennen dichterbij de auto. Het kan ook de omgeving scannen om informatie over de directe omgeving te verkrijgen. Deze informatie kan geo-gerefereerd worden ten opzichte van de aarde om de absolute positie van de auto te bepalen door een inertieel navigatiesysteem (INS) samengesteld uit een IMU en GNSS. Een 3D-kaart kan gebouwd worden om objecten precies te lokaliseren door de absolute positie-informatie van de INS en het beeld van de relatieve omgeving gebaseerd op de lidar te combineren.

Inertiële Meetunit (IMU)

De TDK/InvenSens IMU heeft twee MEMS-componenten in dezelfde behuizing: een 3-as versnellingsmeter en een 3-as gyroscoop. De versnellingsmeter is gevoelig voor zowel statische (bijv. zwaartekracht) als dynamische versnellingen in alle drie assen en kan gebruikt worden om de kantelhoek van de IMU te bepalen. De gyroscoop wordt voornamelijk gebruikt voor dynamische condities waarin er hoeksnelheid is naast zwaartekracht. De uitgangen van deze twee sensoren worden wiskundig gecombineerd om de oriëntatie van het systeem te bepalen.

De algemene trend vandaag is om een IMU naast elke sensor te plaatsen om de detectienauwkeurigheid te verhogen.

Versnelling/Afremming

Volgens Marinoni zijn de belangrijkste afremfuncties noodremmen en botsingsvermijding. Voor deze applicaties scannen sensoren zoals radar de voorkant van de auto, op zoek naar een object of persoon. De scandeata wordt naar een centrale verwerkingseenheid gestuurd, die kan beslissen of het voertuig tot stilstand moet komen. Zo ja, dan stuurt het een signaal naar actuatoren die op dezelfde manier werken als een bestuurder zou, door het rempedaal in te drukken om de auto voor een botsing te stoppen.

De IMU speelt een belangrijke rol hier. De radar-sensor is typisch gemonteerd in de bumper van het voertuig en kan perfect werken als het parallel aan de straat is. Echter, als de bumper uit welke reden dan ook vervormd is, zal de radar-informatie onbetrouwbaar zijn. Een IMU gemonteerd naast de radar-sensor kan de kanteling dynamisch monitoren om correctieve informatie te leveren. Hetzelfde concept wordt toegepast op de camera-modules.

Sturing

In vandaag de dag voertuigen zijn er meerdere camera's, 10 of meer, voor ADAS. Echter, aangezien er veel trilling is wanneer je rijdt, kan de afbeelding vastgelegd door de camera-module vervaagd zijn. Als je een IMU dicht bij elke camera plaatst, kun je de trilling die op de camera toegepast wordt in het exacte moment dat het een foto maakt, gemakkelijk meten. Met deze informatie kun je het beeld stabiliseren en de ruis opruimen voor een helder zicht.

Een typische camera-gebaseerde applicatie is actieve rijbaanassistentie. Hiervoor is er meestal een camera in de buurt van de achteruitkijkspiegel, die gebruikt wordt om de wegmarkeringen te detecteren en beeldverwerking uit te voeren. De beeldkwaliteit is belangrijk voor deze applicatie omdat je de lijn moet herkennen en of de auto het kruist. Door een IMU naast de camera te monteren om het te stabiliseren, producer je een helderder beeld, wat de berekeningsbelasting op de centrale processor vermindert. Voor sommige rijbaanassistentie-toepassingen wordt de bestuurder gealarmeerd, zodat ze controle over de sturing kunnen nemen om op de goede weg te blijven. Er zijn andere toepassingen waarin deze informatie door de auto gebruikt wordt om de sturing direct te besturen om automatisch in de rijbaan te blijven.

Sensor Fusion

Ik vroeg Marinoni daarna over de rol van sensorfusie in ADAS. Hij legde uit dat het een algoritme is dat in staat is informatie van meerdere sensoren te combineren om een uitvoer te leveren die beter is dan de som van elke individuele sensor.

Een voorbeeld zou een INS zijn, waarin een GNSS informatie ontvangt van een satelliet om de absolute locatie van het voertuig te bepalen. Echter, er zijn condities waaronder GNSS-informatie niet betrouwbaar is, bijvoorbeeld in een tunnel, in een stedelijke canyon, of in een meerlaags parkeergarage. Je zou daarom een IMU dicht bij de GNSS nodig hebben om de positie van het systeem te berekenen wanneer de GNSS niet beschikbaar is. Een sensorfusie-algoritme dat in de GNSS-module draait, zou de informatie van de IMU en de GNSS combineren om een positie te genereren die betrouwbaar is onder alle condities. Dit optimaliseert het systeem omdat de IMU en GNSS elkaar complementeren door hun respectieve sterktes en zwaktes. Het fusie-algoritme houdt de informatie van de IMU vast wanneer de GNSS niet betrouwbaar is en gebruikt de informatie van het GNSS-systeem wanneer de auto in een open lucht conditie is. Wanneer er een goed GNSS-signaal is, stelt het fusie-algoritme ook de GNSS-data in staat de IMU te kalibreren voor die momenten dat de GNSS niet beschikbaar is.

Dead Reckoning

Wanneer het GNSS-signaal niet beschikbaar is, navigeert de IMU met dead reckoning door te beginnen vanaf de absolute laatste positie die het ontving. Op dat punt begint het de gyroscoop-informatie over tijd te integreren, om de positie bij te werken. Als er goede gyroscoop-informatie en goede timing is, heb je goede resultaten. Als de gyroscoop-uitvoer goed is, maar de timing niet, heb je slechte resultaten. Als beide slecht zijn, heb je volledig slechte resultaten. Omdat je integreert, wordt de fout geaccumuleerd en na een bepaalde hoeveelheid tijd, kunnen dead reckoning-resultaten niet meer acceptabel zijn.

Als je door een tunnel rijdt of in een stad, waar het GNSS-signaal lang genoeg slecht is, zou dead reckoning gebaseerd op de IMU niet betrouwbaar zijn. Onder die condities zou het aan de autofabrikant liggen. Ze kunnen een bestuurderswaarschuwing initiëren; als de bestuurder niet reageert op de waarschuwing, kan een tweede waarschuwing gegenereerd worden. Als die ook genegeerd wordt, kan de ADAS controle aan nemen en de snelheid verlagen – maar niet de auto stoppen, wat gevaarlijk zou zijn. Een additionele actie kan zijn om een oproep te genereren, zoals naar OnStar, om te checken of de bestuurder veilig is. Er zijn meerdere manieren om de situatie te managen.

Betrouwbaarheid van het ADAS-systeem

Betrouwbaarheid van het ADAS-systeem zelf is natuurlijk cruciaal. Dataintegriteit moet gewaarborgd zijn onder alle condities. Volgens Marinoni omvatten de TDK/Invensense 6-as IMU's voor ADAS een ingebouwde diagnostiek die ontwikkeld is voor systemen die voldoen aan eisen tot Automotive Safety Integrity (ASIL) niveau B. Als communicatie met de centrale eenheid niet betrouwbaar is, kan het bijvoorbeeld een alarm genereren om de bestuurder te waarschuwen. De ingebouwde veiligheidschip omvat een mechanisme dat continu de functionaliteit van alle blokken van het systeem controleert. Als het component een malfunction detecteert in de versnellingsmeter, gyroscoop, digitale logica, of in de communicatiebus, stuurt het een alarm naar het systeem, vertellend het om bewust te zijn dat er iets misging en de informatie van de sensor niet meer betrouwbaar is. Zelfdiagnose is verplicht in automobiele veiligheidstoepassingen, vooral als je de snelheid, remmen of sturing controleert. Deze problemen worden aangesproken in de ASIL-specificatie. Echter, zelfs als het niet voor een Level 2-toepassing is, moet een systeem zoals elektronische stabiliteitscontrole ook 100% betrouwbaar zijn.

Waar Staan We Nu en Waar Gaan We Heen?

Ik vroeg Marinoni waar hij deze technologie nu ziet en wat we in de toekomst kunnen verwachten. "Op dit moment is Level 2 een realiteit – het is al op straat," zei hij. "Maar het ramp nu op in de zin dat we verwachten dat de IMU-volumes zullen stijgen van nu tot 2030, van minder dan 10 miljoen voertuigen naar meer dan 40 miljoen." Voor de volgende stap, Level 3, zal de belangrijkste verandering waarschijnlijk de introductie van nieuwe technologieën zoals lidar zijn. "Vanuit het oogpunt van onze IMU, zijn we al ingesteld voor L3-toepassingen, dankzij onze 6-as integratie," zei hij.

Hij ging door te zeggen dat het volgende innovatiepunt in dit veld de vermindering van stroomverbruik kan zijn. Sommige ADAS-toepassingen zijn vereist om aan te staan zelfs als de motor uit is. Om die reden telt het stroomverbruik van elk component in de applicatie. In het verleden, toen applicaties alleen liepen als de motor aan was, was dat geen kwestie. Maar nu veranderen fabrikanten hun specificaties om stroomverbruik op te nemen.

En last but not least, aangezien dead reckoning integratie beïnvloed wordt door de geaccumuleerde fout over tijd, is het andere belangrijke punt, vooral met zelfrijdende auto's, om de ruis van het component verder te verminderen, om de prestaties van de sensor te verbeteren, om langere dead reckoning integratie te implementeren, de totale fout onder controle houdend.

Ik vroeg Marinoni daarna wanneer hij dacht dat Level 3 de straten zou halen. Zijn gok is dat we niet veel beweging in de L3-mark zullen zien tot 2025.

"Een ander belangrijk onderwerp, hoewel niet gebaseerd op theorie – het is meer een rule of thumb – is dat voor L2-systemen, twee parallelle technologieën genoeg zijn. Voor L3-systemen, om nauwkeurigheid, stabiliteit en prestaties te garanderen, moet je minstens drie technologieën combineren, en waarschijnlijk voor L4, heb je vier nodig. Dit moet je een gevoel geven van de complexiteit van het garanderen van prestaties en veiligheid," zei hij. Dat zal grotere eisen stellen aan de vereiste algoritmen en computerbronnen. Dat is waar 5G waarschijnlijk in zal komen, om het verplaatsen van een groot deel van de berekening naar de cloud mogelijk te maken. Natuurlijk opent dat de deur voor mogelijke hacking.

Dit artikel is geschreven door Ed Brown, Editor of Sensor Technology. Voor meer informatie, bezoek hier.