Een waarschuwingssysteem voor zelfrijdende auto's leert van storingen

Een nieuw model voor zelfrijdende auto's leert van fouten uit het verleden door ze van tevoren te herkennen, soms tot 7 seconden.

Bij autonome voertuigen kan een onbekende of complexe rijsituatie (zoals een druk kruispunt) ervoor zorgen dat het zelfrijdende systeem wordt uitgeschakeld, hetzij door automatische veiligheidsmaatregelen, hetzij door menselijk ingrijpen.

Een artificieel-intelligentiemodel van de Technische Universiteit van München (TUM) gebruikt duizenden levensechte verkeerssituaties - met name opgenomen ontkoppelingssequenties van testritten - als trainingsgegevens om toekomstige storingen te voorspellen.

Om storingen zo vroeg mogelijk te voorspellen, classificeert de machine learning-benadering reeksen sensorgegevens als mislukking of succes.

Als het systeem bijvoorbeeld een nieuwe rijsituatie signaleert die het besturingssysteem voorheen niet aankon, wordt de bestuurder vooraf gewaarschuwd voor een mogelijke kritieke situatie.

De door TUM ontwikkelde veiligheidstechnologie maakt gebruik van sensoren en camera's om omgevingsomstandigheden vast te leggen, zoals de stuurhoek, wegomstandigheden, weer, zicht en snelheid. De A.I. systeem, gebaseerd op een terugkerend neuraal netwerk (RNN) en duizenden real-traffic situaties, leert patronen te herkennen met de data.

De auto zelf wordt behandeld als een zwarte doos, alleen gericht op gegevensinvoer en gegevensuitvoer. Volgens het team van München leert het systeem introspectief van zijn eigen eerdere fouten.

"Het grote voordeel van onze technologie:we negeren volledig wat de auto denkt. In plaats daarvan beperken we ons tot de gegevens op basis van wat er werkelijk gebeurt en zoeken we naar patronen", zegt hoofdonderzoeker prof. Eckehard Steinbach , die ook lid is van de Raad van Bestuur van de Munich School of Robotics and Machine Intelligence (MSRM) bij TUM,. “Op deze manier kan de A.I. ontdekt potentieel kritieke situaties die modellen mogelijk niet kunnen herkennen of nog moeten ontdekken."

Het systeem biedt een veiligheidsfunctie die weet wanneer en waar de auto's zwakke punten hebben, zegt Steinbach.

De methode van Steinbach en zijn team combineert twee soorten sensoren. Een beeldgebaseerd model leert over het algemeen uitdagende situaties te detecteren, zoals een drukke stadsstraat. Een aanvullend op data gebaseerd model detecteert snelle veranderingen vlak voor een storing, zoals plotseling remmen of uitwijken. De uitkomst van de individuele modellen wordt gefuseerd door het middelen van de individuele faalkansen.

De BMW Group evalueerde de "introspectieve faalvoorspellingsbenadering" door 14 uur autonoom rijden op de openbare weg en analyseerde ongeveer 2500 situaties waarin de bestuurder moest ingrijpen.

Volgens een onderzoek, uitgebracht in december 2020 , maakt de late fusie-aanpak het mogelijk om fouten te voorspellen met een nauwkeurigheid van meer dan 85 procent - tot zeven seconden voordat ze optreden, en met een fout-positief percentage van 20%.

In een kort interview met Tech Briefs hieronder vertelt Steinbach over de sterke punten van een black-boxbenadering, evenals de beperkingen van de huidige voertuigveiligheidsmaatregelen.

Tech Briefs :Ik vind dit een interessant idee:“We negeren volledig wat de auto denkt. In plaats daarvan beperken we ons tot de data op basis van wat er werkelijk gebeurt en zoeken we naar patronen.” Wat zijn enkele voorbeelden van patronen die een model mogelijk niet herkent?

Prof. Eckehard Steinbach :In ons werk kijken we naar de staat van de auto, zoals remmen en sturen, maar ook naar de camerabeelden die de auto verkrijgt om patronen te detecteren die leiden tot uitschakelingen. Hoewel dit ons model in staat stelt een groot percentage situaties te detecteren waarin een mens het over moet nemen, wordt niet alle informatie over een rijscène vastgelegd in deze gegevens.

Een eenvoudig voorbeeld:een patroon van herhaaldelijk remmen kan een regelmatig rijden bij warm weer zijn, maar kan wijzen op een dreigende uitschakeling als de wegen ijzig en glad zijn. Als de camerabeelden deze informatie over de omgeving niet vastleggen, kan dat patroon niet worden gebruikt om onderscheid te maken tussen normaal en verstoord rijden. Hoewel de camera-informatie meestal voldoende is om de toestand van de weg te beoordelen, kunnen dergelijke patronen nog steeds moeilijk te herkennen zijn.

Meer over zelfrijdende auto's

Kijk op Tech Briefs TV:Michigan ontwikkelt een unieke corridor voor geconnecteerde en autonome voertuigen.

Op de blog:een enquête onder experts onderzoekt de vraag:hoe zullen autonome systemen de natuur beïnvloeden?

Tech Briefs :Waarom is het een voordeel om "negeren wat de auto denkt?"

Prof. Eckehard Steinbach :Als de auto een situatie volledig correct inschat, hoeft de bestuurder niet in te grijpen. Overmoed is echter een grote uitdaging voor veel modellen die worden gebruikt in autonoom rijden. Door deze situaties vast te leggen en ervan te leren, kunnen we leren detecteren of een nieuwe situatie problematisch is, zelfs als de auto er te veel vertrouwen in heeft.

Bovendien stelt het observeren van patroonsequenties over de staat en omgeving van de auto ons model in staat om effectief naar de toekomst te extrapoleren om uitschakelingen tot zeven seconden vooruit te voorspellen. Zo vroeg van tevoren kan de inschatting van het tafereel door de auto nog helemaal correct zijn, wat betekent dat het niet kan worden gebruikt om het uitdagende scenario te voorspellen. De ruwe verzamelde gegevens kunnen daarentegen al patronen bevatten die eerder tot mislukkingen hebben geleid en maken het daarom mogelijk om op voorhand uittredingen te voorspellen.

Tech Briefs :Hoe kan het systeem zeven seconden van tevoren een “kritiek” scenario bepalen? En als die detectie plaatsvindt, wat gebeurt er dan daarna? Wat ziet de bestuurder in de auto en wat doet de auto?

Prof. Eckehard Steinbach :De sleutel is om reeksen gegevens te observeren en te zoeken naar tijdelijke patronen. Door rekening te houden met de afgelopen drie seconden aan geregistreerde gegevens, kan ons model patronen detecteren die uiteindelijk evolueren naar een scenario waarin de menselijke bestuurder de controle moet overnemen. Als je weet waar je op moet letten, kun je de eerste tekenen van uitdagende situaties vele seconden vooruit zien.

Onze methode bereikt dit ongeveer 85% van de tijd zeven seconden van tevoren. De overige 15% van de situaties kan worden verklaard door het feit dat zich in zeer korte tijd enkele uitdagende scenario's ontwikkelen, zoals voetgangers die plotseling tussen geparkeerde auto's uitkomen en de weg naderen. Wanneer de detectie plaatsvindt, moet de bestuurder worden gewaarschuwd.

Tech Briefs :Hoe wordt de bestuurder gewaarschuwd?

Prof. Eckehard Steinbach :De implementatie van deze waarschuwing hangt af van de specifieke keuze van de mens-machine-interface, maar de bestuurder moet weten dat zijn controle over de auto binnen de komende zeven seconden vereist is. Deze tijd stelt de auto ook in staat om een ​​veilige stopmanoeuvre te plannen voor het geval de menselijke bestuurder niet op de prompt reageert.

Tech Briefs :Hoe is je proefrit verlopen? Wat was de meest indrukwekkende ontdekking die je hebt gezien?

Prof. Eckehard Steinbach :Aangezien de testritten werden uitgevoerd door de BMW Group, heb ik er niet aan deelgenomen in de auto. Onze groep werkte later met de opnames van de ritten. Het meest indrukwekkende element van het detectiesysteem is hoe vroeg de voorspelling vaak plaatsvindt. Op het moment van de detectie kan het rijscenario nog steeds regelmatig lijken, bijvoorbeeld alleen voor het verkeer op het volgende kruispunt om te veranderen in een gecompliceerde, drukke omgeving waar de mens het enkele seconden later overnam om de veiligheid te garanderen.

Tech Briefs :Wat is nog steeds een uitdaging voor zelfrijdende auto's om te detecteren?

Prof. Eckehard Steinbach :Een belangrijke uitdaging bij autonoom rijden zijn nieuwe of niet-gedistribueerde gegevens. Als de auto in een situatie terechtkomt waarvoor hij niet is getraind of een object ziet dat hij niet kent, kunnen er problemen ontstaan. Dergelijke nieuwe scènes veroorzaken menselijk ingrijpen, wat ertoe leidt dat die scènes worden gebruikt als trainingsgegevens voor onze aanpak. Hoewel onze methode kan helpen om zo'n nieuwe uitdagende omgeving de volgende keer te detecteren, blijft het detecteren en correct beheren van een geheel nieuwe scène de eerste keer dat deze wordt aangetroffen een uitdagende taak.

Wat denk je? Deel uw vragen en opmerkingen hieronder.