De detectiesystemen die ADAS laten werken

Om de laatste informatie over sensoren voor geautomatiseerde rijsystemen te weten te komen, interviewde ik Alberto Marinoni, Director of Product Marketing, TDK/Invensense (San Jose, CA).

De veelgebruikte term Advanced Driver Assistance Systems (ADAS) verwijst in wezen naar SAE Level 2 (L2), Partial Driving Automation. Op dat niveau moet de bestuurder in de auto zitten en waakzaam zijn - ze kunnen bijvoorbeeld geen boek lezen - waarvoor niveau 3 of hoger nodig is. (Het hoogste niveau - 5 - is een volledig geautomatiseerd voertuig waarvoor niet eens een van ons mensen nodig is om in het voertuig te zitten.)

In niveau 2 kan de auto, afhankelijk van de toepassing, automatisch in lengterichting (acceleratie/vertraging) of zijdelings (besturing) worden bestuurd. De bestuurder moet echter aanwezig zijn, de straat in de gaten houden en waakzaam zijn om indien nodig de controle over te nemen. Niveau 1 daarentegen kan automatisch remmen/accelereren OF zijdelings sturen, maar niet beide.

Voor L2 zijn er meerdere sensoren, waaronder camera's, radar en traagheidsmeeteenheden (IMU's). Een wereldwijd navigatiesatellietsysteem (GNSS), zoals een GPS, is ook inbegrepen.

Voor bepaalde L2-toepassingen, hoewel niet de meerderheid, is lidar ook beschikbaar, hoewel dat voornamelijk voor niveau 3 is. Het is niet altijd opgenomen in L2 vanwege de hoge kosten in vergelijking met de andere technologieën. Marinoni legde uit dat radar een langeafstandsdetector is - het wordt gebruikt voor het detecteren van obstakels op afstand - om de auto te waarschuwen dat er iets voor de auto staat. Lidar draagt ​​bij aan de automatiseringsmix door objecten dichter bij de auto in detail te herkennen. Het kan ook de omgeving scannen om informatie over de directe omgeving te verkrijgen. Deze informatie kan worden gegeorefereerd ten opzichte van de aarde om de absolute positie van de auto te bepalen met behulp van een traagheidsnavigatiesysteem (INS) dat bestaat uit een IMU en GNSS. Een 3D-kaart kan worden gebouwd om objecten nauwkeurig te lokaliseren door de absolute positie-informatie van de INS en het beeld van de relatieve omgeving op basis van de lidar te combineren.

Traagheidsmeeteenheid

De TDK/InvenSens IMU heeft twee MEMS-componenten in dezelfde behuizing:een 3-assige versnellingsmeter en een 3-assige gyroscoop. De versnellingsmeter is gevoelig voor zowel statische (bijv. zwaartekracht) als dynamische versnellingen in alle drie de assen en kan worden gebruikt om de kantelhoek van de IMU te bepalen. De gyroscoop wordt voornamelijk gebruikt voor dynamische omstandigheden waarin naast zwaartekracht ook hoeksnelheid is. De uitgangen van deze twee sensoren worden wiskundig gecombineerd om de oriëntatie van het systeem te bepalen.

De algemene trend van vandaag is om een ​​IMU naast elke sensor te plaatsen om de nauwkeurigheid van detectie te vergroten.

Versnelling/vertraging

Volgens Marinoni zijn de belangrijkste vertragingsfuncties noodremmen en het vermijden van aanrijdingen. Voor deze toepassingen scannen sensoren zoals radar de voorkant van de auto, op zoek naar een object of persoon. De scangegevens worden naar een centrale verwerkingseenheid gestuurd, die kan beslissen of het voertuig tot stilstand moet komen. Als dat zo is, stuurt het een signaal naar actuatoren die op dezelfde manier werken als een bestuurder, door het rempedaal in te trappen om de auto te stoppen voor een crash.

De IMU speelt hierbij een belangrijke rol. De radarsensor wordt meestal in de bumper van het voertuig gemonteerd en kan perfect werken als deze parallel aan de straat staat. Als de bumper echter om de een of andere reden is vervormd, is de radarinformatie onbetrouwbaar. Een IMU die naast de radarsensor is gemonteerd, kan de kanteling dynamisch bewaken om corrigerende informatie te verstrekken. Hetzelfde concept wordt toegepast op de cameramodules.

Besturing

In de voertuigen van vandaag zijn er meerdere camera's, 10 of meer, voor ADAS. Omdat er echter veel trillingen zijn tijdens het rijden, kan het beeld dat door de cameramodule wordt vastgelegd, wazig zijn. Als u een IMU dicht bij elke camera plaatst, kunt u eenvoudig de trilling meten die op de camera wordt toegepast op het exacte moment waarop de foto wordt gemaakt. Met deze informatie kunt u het beeld stabiliseren en de ruis opheffen voor een helder beeld.

Een typische cameragebaseerde toepassing is actieve rijstrookassistentie. Hiervoor bevindt zich meestal een camera in de buurt van de achteruitkijkspiegel, die wordt gebruikt om de straatlijnen te detecteren en beeldverwerking uit te voeren. De beeldkwaliteit is belangrijk voor deze toepassing omdat je de lijn moet herkennen en of de auto deze overschrijdt. Door een IMU naast de camera te monteren om deze te stabiliseren, produceert u een helderder beeld, wat de rekenbelasting van de centrale processor vermindert. Voor sommige rijstrookassistentietoepassingen wordt de bestuurder gewaarschuwd, zodat deze de besturing kan overnemen om op het goede spoor te blijven. Er zijn andere toepassingen waarin deze informatie door de auto wordt gebruikt om de besturing direct te regelen om deze automatisch in de rijstrook te houden.

Sensorfusie

Vervolgens vroeg ik Marinoni naar de rol van sensorfusie in ADAS. Hij legde uit dat het een algoritme is dat informatie van meerdere sensoren kan combineren om een ​​output te leveren die beter is dan de som van elke individuele sensor.

Een voorbeeld is een INS, waarbij een GNSS informatie van een satelliet ontvangt om de absolute locatie van het voertuig te bepalen. Er zijn echter omstandigheden waaronder GNSS-informatie niet betrouwbaar is, bijvoorbeeld in een tunnel, in stedelijke canyoning of op een parkeerplaats met meerdere verdiepingen. U hebt daarom een ​​IMU dicht bij het GNSS nodig om de positie van het systeem te berekenen wanneer het GNSS niet beschikbaar is. Een sensorfusie-algoritme dat in de GNSS-module draait, zou de informatie van de IMU en de GNSS combineren om een ​​positie te genereren die onder alle omstandigheden betrouwbaar is. Dit optimaliseert het systeem omdat de IMU en GNSS elkaar aanvullen vanwege hun respectievelijke sterke en zwakke punten. Het fusie-algoritme houdt de informatie die van de IMU komt wanneer het GNSS niet betrouwbaar is en gebruikt de informatie van het GNSS-systeem wanneer de auto in een open lucht staat. Als er een goed GNSS-signaal is, stelt het fusie-algoritme de GNSS-gegevens ook in staat om de IMU te kalibreren voor die momenten waarop de GNSS niet beschikbaar is.

Dead Reckoning

Wanneer het GNSS-signaal niet beschikbaar is, navigeert de IMU met gegist bestek door te beginnen vanaf de absoluut laatste positie die het heeft ontvangen. Op dat moment begint het de gyroscoopinformatie in de loop van de tijd te integreren om de positie bij te werken. Als er goede gyroscoopinformatie en goede timing is, heb je goede resultaten. Als de uitvoer van de gyroscoop echter goed is, maar de timing niet, dan heb je slechte resultaten. Als beide slecht zijn, heb je volledig slechte resultaten. Omdat u integreert, wordt de fout geaccumuleerd en na een bepaalde tijd zijn gegist bestekresultaten mogelijk niet langer acceptabel.

Als u door een tunnel of in een stad rijdt, waar het GNSS-signaal lang genoeg slecht is, zou gegist bestek op basis van de IMU niet betrouwbaar zijn. Onder die omstandigheden zou het aan de autofabrikant zijn. Ze zouden een chauffeurswaarschuwing kunnen starten; als de bestuurder niet op de waarschuwing reageert, kan een tweede waarschuwing worden gegenereerd. Als ook dat werd genegeerd, zou de ADAS de controle kunnen overnemen en de snelheid kunnen verlagen - maar de auto niet stoppen, wat gevaarlijk zou zijn. Een extra actie zou kunnen zijn om een ​​oproep te genereren, bijvoorbeeld naar OnStar, om te controleren of de bestuurder veilig is. Er zijn meerdere manieren om met de situatie om te gaan.

Betrouwbaarheid van het ADAS-systeem

De betrouwbaarheid van het ADAS-systeem zelf is uiteraard van cruciaal belang. Data-integriteit moet onder alle omstandigheden worden gegarandeerd. Volgens Marinoni bevatten de TDK/Invensense 6-assige IMU's voor ADAS een ingebouwde diagnose die is ontwikkeld voor systemen die voldoen aan de vereisten tot Automotive Safety Integrity (ASIL) niveau B. Als de communicatie met de centrale eenheid bijvoorbeeld niet betrouwbaar is, het kan een alarm genereren om de bestuurder te waarschuwen. De ingebouwde veiligheidschip bevat een mechanisme dat continu de functionaliteit van alle blokken van het systeem controleert. Als het onderdeel een storing detecteert in de accelerometer, gyroscoop, digitale logica of in de communicatiebus, stuurt het een alarm naar het systeem, zodat het weet dat er iets mis is gegaan en dat de informatie die van de sensor komt niet langer betrouwbaar is. Zelfdiagnose is verplicht bij veiligheidstoepassingen voor auto's, vooral als u de snelheid controleert, remt of stuurt. Deze problemen worden behandeld in de ASIL-specificatie. Maar zelfs als het niet voor een Level 2-toepassing is, moet een systeem als elektronische stabiliteitscontrole ook 100% betrouwbaar zijn.

Waar zijn we nu en waar gaan we heen?

Ik vroeg Marinoni waar hij deze technologie nu ziet en wat hij in de toekomst kan verwachten. "Op dit moment is niveau 2 een realiteit - het is al op straat", zei hij. "Maar het neemt nu toe in de zin dat we verwachten dat de IMU-volumes van nu tot 2030 zullen toenemen, van minder dan 10 miljoen voertuigen tot meer dan 40 miljoen." Voor de volgende stap, niveau 3, zal de belangrijkste verandering waarschijnlijk de introductie van nieuwe technologieën zoals lidar zijn. "Vanuit het oogpunt van onze IMU zijn we al klaar voor L3-toepassingen, dankzij onze 6-assige integratie", zei hij.

Hij vervolgde dat het volgende innovatiepunt op dit gebied de vermindering van het stroomverbruik zou kunnen zijn. Sommige ADAS-toepassingen moeten zijn ingeschakeld, zelfs als de motor is uitgeschakeld. Om deze reden telt het stroomverbruik van elk onderdeel in de applicatie. In het verleden, toen applicaties alleen draaiden als de motor aan stond, was dat geen probleem. Maar nu veranderen de fabrikanten hun specificaties om ook stroomverbruik op te nemen.

En last but not least, aangezien gegist bestek-integratie wordt beïnvloed door de geaccumuleerde fout in de tijd, is het andere belangrijke punt, vooral bij zelfrijdende auto's, om het geluid van het onderdeel verder te verminderen, om de prestaties van de sensor te verbeteren, om langere gegist bestek-integratie implementeren, zodat de totale fout onder controle blijft.

Vervolgens vroeg ik Marinoni wanneer hij dacht dat Level 3 de straat op zou gaan. Zijn gok is dat we tot 2025 niet veel beweging op de L3-markt zullen zien.

"Een ander belangrijk onderwerp, hoewel niet gebaseerd op theorie - het is meer een vuistregel - is dat voor L2-systemen twee parallelle technologieën voldoende zijn. Voor L3-systemen moet u, om nauwkeurigheid, stabiliteit en prestaties te garanderen, ten minste drie technologieën combineren, en hoogstwaarschijnlijk voor L4 heeft u er vier nodig. Dit zou je een idee moeten geven van de complexiteit van het garanderen van prestaties en veiligheid”, zei hij. Dat stelt hogere eisen aan de benodigde algoritmen en computermiddelen. Dat is waar 5G waarschijnlijk een rol gaat spelen, om een ​​groot deel van de berekeningen naar de cloud te kunnen verplaatsen. Dat opent natuurlijk de deur naar mogelijk hacken.

Dit artikel is geschreven door Ed Brown, redacteur van Sensor Technology. Voor meer informatie, bezoek hier .