TUM AI-systeem Voorspelt Zelfrijdende Auto Falen Tot 7 Seconden Vroeg

Introspectieve Foutvoorspelling via Recurrente Neurale Netwerken op Echte Verkeersdata

Een nieuw model voor zelfrijdende auto's leert uit eerdere fouten door ze van tevoren te herkennen, soms tot 7 seconden van tevoren.

Bij autonome voertuigen kan een onbekende of complexe rijsituatie (zoals een drukke kruising) een disengagement van het zelfrijdend systeem veroorzaken, hetzij door automatische veiligheidsmaatregelen of menselijke interventie.

Een kunstmatige-intelligentie model van de Technische Universiteit München (TUM) gebruikt duizenden real-life verkeerssituaties – specifiek, geregistreerde disengagement-reeksen van testritten – als trainingsdata om toekomstige fouten te voorspellen.

Om fouten zo vroeg mogelijk te voorspellen, klassificeert de machine-learning benadering reeksen van sensordata als fout of succes.

Als het systeem een nieuwe rijsituatie ziet die het besturingssysteem eerder niet aan kon, zal de bestuurder van tevoren gewaarschuwd worden voor een mogelijke kritieke situatie.

De TUM-ontwikkelde veiligheidstechnologie gebruikt sensoren en camera's om omgevingscondities vast te leggen, zoals stuwwielhoek, wegcondities, weer, zichtbaarheid en snelheid. Het AI-systeem, gebaseerd op een recurrent neural network (RNN) en duizenden echte verkeerssituaties, leert patronen herkennen in de data.

De auto zelf wordt behandeld als een zwarte doos, gericht alleen op data-invoer en data-uitvoer. Het systeem leert introspectief uit eigen eerdere fouten, volgens het München-team.

"Het grote voordeel van onze technologie: we negeren volledig wat de auto denkt. In plaats daarvan beperken we ons tot de data gebaseerd op wat er daadwerkelijk gebeurt en zoeken naar patronen," zei hoofdonderzoeker Prof. Eckehard Steinbach, die ook lid is van de Raad van Bestuur van de Munich School of Robotics and Machine Intelligence (MSRM) aan TUM. "Op deze manier ontdekt de AI potentiële kritieke situaties die modellen misschien niet herkennen kunnen, of nog niet ontdekt hebben."

Het systeem biedt een veiligheidsfunctie die weet wanneer en waar de auto's zwaktes liggen, aldus Steinbach.

Steinbach en zijn team's methode combineert twee soorten sensoren. Een beeld-gebaseerd model leert om algemene uitdagende situaties te detecteren, zoals een drukke stadsstraat. Een additioneel data-gebaseerd model detecteert snelle veranderingen direct voor een fout, zoals plotselings remmen of uitwijken. Het resultaat van de individuele modellen wordt gefuseerd door het gemiddelde van de individuele foutkansen te nemen.

De BMW Groep evalueerde de "introspectieve foutvoorspellingsbenadering" door 14 uur autonom rijden op publieke wegen, waarbij ongeveer 2.500 situaties geanalyseerd werden waar de bestuurder moest interventie plegen.

Volgens een studie, gepubliceerd in december 2020, stelt de late fusion benadering foutvoorspelling mogelijk met meer dan 85% nauwkeurigheid – tot zeven seconden voordat ze gebeuren, en bij een false positive ratio van 20%.

Tech Briefs Interview

Tech Briefs: Ik vind dit een interessant idee: "We negeren volledig wat de auto denkt. In plaats daarvan beperken we ons tot de data gebaseerd op wat er daadwerkelijk gebeurt en zoeken naar patronen." Wat zijn voorbeelden van patronen die een model misschien niet herkent?

Prof. Eckehard Steinbach: In ons werk kijken we naar de staat van de auto, zoals remmen en sturen, alsook naar de camera-afbeeldingen die de auto verkrijgt om patronen te detecteren die leiden tot disengagements. Hoewel dit ons model in staat stelt een groot percentage situaties te detecteren waar een mens moet overnemen, wordt niet alle informatie over een rijscene vastgelegd in deze data.

Als een simpel voorbeeld, een patroon van herhaald remmen kan normaal rijden in warm weer zijn, maar kan een komende disengagement aangeven als de wegen ijzel en glad zijn. Als de camera-afbeeldingen deze informatie over de omgeving niet vastleggen, kan dat patroon niet gebruikt worden om te onderscheiden tussen normaal en gestoord rijden. Hoewel de camera-informatie meestal voldoende is om de wegcondities te beoordelen, kunnen zulke patronen nog steeds moeilijk te herkennen zijn.

Tech Briefs: Waarom is het een voordeel om "te negeren wat de auto denkt?"

Prof. Eckehard Steinbach: Als de auto een situatie volledig correct beoordeelt, zou er geen behoefte zijn aan interventie van de bestuurder. Echter, overmoed is een significante uitdaging van veel modellen in autonom rijden. Door die situaties op te nemen en ervan te leren, kunnen we leren detecteren of een nieuwe situatie problematisch is zelfs als de auto overmoedig erover is.

Daarnaast stelt het observeren van patroonreeksen over de staat en omgeving van de auto ons model in staat om effectief in de toekomst te extrapoleren om disengagements tot zeven seconden van tevoren te voorspellen. Zo vroeg in de tijd kan de beoordeling van de scene door de auto nog volledig correct zijn, wat betekent dat het niet gebruikt kon worden om het uitdagende scenario te voorspellen. De ruwe verzamelde data daarentegen bevat al patronen die eerder tot fouten hebben geleid en daarom toelaten disengagements van tevoren te voorspellen.

Tech Briefs: Hoe kan het systeem een "kritiek" scenario zeven seconden van tevoren bepalen? Wat gebeurt er daarna? Wat ziet de bestuurder in de auto, en wat doet de auto?

Prof. Eckehard Steinbach: De sleutel is om reeksen van data te observeren en naar temporele patronen te zoeken. Door de afgelopen drie seconden van geregistreerde data te overwegen, is ons model in staat patronen te detecteren die uiteindelijk evolueren naar een scenario waar de menselijke bestuurder controle moet overnemen. Als je weet waar je naar moet zoeken, kun je de eerste tekens van een uitdagende situatie veel seconden van tevoren ontdekken.

Onze methode bereikt dit ongeveer 85% van de tijd zeven seconden van tevoren. De overige 15% van de situaties kan verklaard worden doordat sommige uitdagende scenario's zich in heel korte tijd ontwikkelen, zoals voetgangers die plotseling tussen geparkeerde auto's naar voren komen en de weg op treden. Wanneer de detectie plaatsvindt, moet de bestuurder gealarmeerd worden.

Tech Briefs: Hoe wordt de bestuurder gealarmeerd?

Prof. Eckehard Steinbach: De implementatie van deze waarschuwing hangt af van de specifieke keuze van de mens-machine interface, maar de bestuurder moet weten dat hun controle over de auto binnen de komende zeven seconden vereist zal zijn. Deze tijd stelt de auto ook in staat om een veilige stopmanoeuvre te plannen voor het geval de menselijke bestuurder niet reageert op de aanmaning.

Tech Briefs: Hoe verliep de testrit? Wat was de meest indrukwekkende detectie die je zag?

Prof. Eckehard Steinbach: Omdat de testritten uitgevoerd werden door de BMW Groep, deed ik niet mee in de auto. Ons werkte later met de opnames van deritten. Het meest indrukwekkende element van het detectiesysteem is hoe vroeg de voorspelling vaak plaatsvindt. Op het moment van de detectie kan het rijsituatie nog regulier lijken, bijvoorbeeld, alleen voor het verkeer op de volgende kruising om te veranderen in een gecompliceerde, overbevolkte omgeving waar de mens een paar seconden later overnam om veiligheid te waarborgen.

Tech Briefs: Wat is nog steeds uitdagend voor zelfrijdende auto's om te detecteren?

Prof. Eckehard Steinbach: Een belangrijke uitdaging in autonom rijden is nieuwe of out-of-distribution data. Als de auto een situatie binnenkomt waar het niet voor getraind is of een object ziet dat het niet kent, kunnen problemen ontstaan. Dergelijke nieuwe scènes veroorzaken menselijke interventie, wat leidt tot die scènes gebruikt worden als trainingsdata voor onze benadering. Hoewel onze methode dan kan helpen een dergelijke nieuwe uitdagende omgeving de volgende keer te detecteren, blijft het detecteren en correct managen van een volledig nieuwe scène de eerste keer dat het ontmoet wordt een uitdagende taak.