Zelfrijdende auto's beheersen navigatie in smalle straten

Stel u voor dat twee voertuigen recht op elkaar af rijden in een eenrichtingsstraat.

Als u achter het stuur zit in dit soort krappe, uitdagende rijsituatie, kunt u onderhandelen met de betrokken partijen. U kunt aan de kant parkeren en dan een seintje geven aan de voorrijder door de smalle baan te rijden. Door interactie kunt u manoeuvres bedenken die iedereen veilig houden en op hun bestemming brengen.

Een zelfrijdende auto heeft een grotere uitdaging, en moet op een of andere manier begrijpen wat nabijgelegen chauffeurs doen, en hun bereidheid om netjes te spelen.

Een nieuw algoritme in ontwikkeling kan een autonoom voertuig door lastig verkeer op een drukke, smalle straat leiden.

Het algoritme, gebouwd door onderzoekers van het Carnegie Mellon University Argo AI Center for Autonomous Vehicle Research , neemt beslissingen door verschillende niveaus van chauffeur-coöperativiteit te modelleren — hoe waarschijnlijk een chauffeur is om aan de kant te trekken om een andere voorbij te laten.

Met "Multi-Agent Reinforcement Learning" (MARL) kreeg het team, geleid door onderzoeker Christoph Killing, autonome voertuigen menselijke gedragingen te vertonen, waaronder defensief rijden en het interpreteren van het gedrag van andere agenten — in simulatie, voor zover.

Het algoritme is nog niet op een voertuig in de echte wereld gebruikt, maar de resultaten zijn veelbelovend, dankzij het beloningsgebaseerde systeem van het model.

"We incentiveren interacties met veiligheid in gedachten," zei Killing, een voormalig bezoekend onderzoeker in de School of Computer Science's Robotics Institute  en nu onderdeel van het Autonomous Aerial Systems Lab aan de Technische Universiteit München.

In een korte Q&A met Tech Briefs hieronder legt Christoph uit hoe het incentivemodel van zijn team lastige verkeerssituaties navigeert, waar er geen officiële verkeersregels zijn.

Tech Briefs: Zou u uw model kenmerken als meer coöperatief of agressief, bij het navigeren van een uitdaging die een beetje van beide vereist?

Christoph Killing: Zoals in elk rijscenario, zouden autonome voertuigen veiligheid eerste moeten stellen en alle verkeersregels volgen. Echter — en dit is de schoonheid en uitdaging van het geconsidereerde scenario — er bestaan geen coördinerende verkeersregels in dit soort scenario (in tegenstelling tot 4-weg stopplekken, bijv.). Twee voertuigen met gelijk voorrangsrecht moeten essentieel onderhandelen wie eerst gaat en wie wacht.

Als beide voertuigen puur op veiligheid gericht zijn, zullen ze allebei aan de kant trekken. De sleuteluitdaging in ons onderzoek was: Hoe laten we één voertuig aan de kant trekken en één doorrijden — niet beide aan de kant trekken, niet beide doorrijden, wanneer elk hun eigen beslissingen neemt zonder enige coördinerende instantie.

We incentiveren interacties met veiligheid in gedachten; botsen met snelheid is erger dan time-out — maar time-outs resulteren ook in een kleine boete om agenten te incentiveren te leren te interacteren en elkaar voorbij te laten.

Tech Briefs: Wat zijn de hoofdparameters die uw model gebruikt om de rit uit te voeren? Waarop baseert het algoritme zijn beslissingen?

Christoph Killing: Ons algoritme perceiveert wat op een echte auto beschikbaar zou zijn. We hebben afstand en relatieve snelheidsmetingen rond de voorkant van de auto (zie Fig. 2 in het rapport hier ). Opvallend, in vergelijking met gerelateerd werk, gebruiken we geen vogelvluchtperspectief op het scenario maar een egocentrisch perspectief. Dit maakt het een beetje lastiger aangezien we nu blinde vlekken hebben. Deze observatie wordt aangevuld met verdere parameters, zoals de bovengenoemde coöperativiteit om de agent te vertellen hoe agressief te gedragen, maar ook de huidige stuurhoek en gasstand (die u ook zou kennen als u zelf in dit scenario rijdt).

Tech Briefs: Wat is nog steeds uitdagend voor het algoritme om goed te krijgen?

Christoph Killing: Er zijn twee hoofduitdagingen: overmatig agressieve koppelingen en overmatig passieve koppelingen. (Vergelijk de visualisaties hier .) Opvallend, ons beleid kan het scenario de meeste keren onderhandelen. Toch zouden menselijke passagiers best ontevreden kunnen zijn met hun auto's die sommige van de manoeuvres uitvoeren die hier getoond worden .

Tech Briefs: Wat doet het algoritme wanneer het duidelijk is dat een tegenovergestelde chauffeur agressief, "slecht" rijdt? Of overmatig "coöperatief"?

Christoph Killing: We testen ons rijgedrag door een coöperativiteitswaarde aan elk voertuig toe te kennen, vertellend hoe agressief te gedragen. Elk kent alleen zijn eigen coöperativiteit, niet die van de tegenovergestelde auto. Deze waarden vertalen zich op een redelijk directe manier naar rijgedrag: Een oncoöperatieve chauffeur is alleen geïnteresseerd in eigen vooruitgang. Een hoog coöperatieve chauffeur vindt het niet erg welk voertuig eerst vooruitgaat, zolang iemand gaat. Deze waarden zijn vast tijdens de interactie.

(We overwegen niet "je temper verliezen." Ik ga hier niet diep in, maar laten we het bij "voor wiskundige redenen" houden.)

Tech Briefs: Vereist een deel van het model een soort "lezen" van de tegenovergestelde chauffeur?

Christoph Killing: Een woord over de "read": In robotica onderscheiden we tussen de toestand van de wereld (d.w.z. de planeet Aarde zoals hij nu is) en een observatie. Onze voertuigen hebben geen geheugenmodule. Hoe gaan we dan om met dingen die we op het moment niet zien?

Meer Zelfrijdende Auto's op Tech Briefs

Een waarschuwingssysteem voor zelfrijdende auto's leert van falen.

Software van de Technische Universiteit München houdt zelfrijdende voertuigen op een veilige baan.

Stel, u bent in een Zoom-gesprek met iemand. U percepeert een gedeeltelijke observatie van de planeet Aarde, zeg maar. De andere partij pakt een koffiemok van buiten het veld van hun camera, neemt een slok, en zet het weer neer buiten het camera-veld. Als u alleen de allerlaatste observatie in aanmerking neemt na het neerzetten van de mok en wordt gevraagd wat ze drinken, weet u het gewoon niet (omdat er geen geheugen is). Toch, als u verschillende observaties over de afgelopen seconden samenvoegt (we noemen dit "concateneren"), kunt u iets afleiden over de toestand van de wereld omdat u de mok ziet bewegen door verschillende frames. Gebaseerd op hoe snel ze het bewegen, kunt u misschien zelfs iets over hun stemming vertellen.

Gelijkelijk, in ons scenario, kent elk voertuig de andere agent alleen, gebaseerd op wat het kan observeren uit de observatieruimte (getoond in Fig 2. in het paper ). Interne toestanden (de coöperativiteitswaarde van de andere auto, bijv.) zijn onbekend. We concateneren verschillende van die gedeeltelijke observaties van elk voertuig om hen impliciet een overtuiging te laten vormen over hoe coöperatief het andere voertuig wellicht is. We doen dit niet handmatig, maar laten het Deep Neural Network, de kunstmatige intelligentie, de taak opnemen. Dit Neural Net moet ook het antwoord op uw vraag leren, namelijk wat te doen nadat het een zekere agressiviteit of overmatig coöperatief gedrag heeft opgemerkt.

Tech Briefs: Hoe noteert het model "agressief" of "coöperatief" gedrag, en reageert daar volgens?

Christoph Killing: Een overmatig agressieve agent kan bijvoorbeeld gewoon recht in de knelpunt van het scenario rijden, de andere agent essentieel dwangend te wachten. Een overmatig coöperatieve agent zou — zodra de volledige omvang van het knelpunt waarneembaar is door zijn sensoren — afremmen en wachten. Hier is ons beleid getraind om onmiddellijk de complementaire actie te selecteren: een afremming detecteren en doorrijden, of vice versa.

Tech Briefs: Wat is de volgende stap voor dit onderzoek?

Christoph Killing: Genoeg dingen: Drie hoofdpunten: Ten eerste, het huidige werk is autonoom voertuig geconfronteerd met autonoom voertuig alleen. We zullen dit moeten uitbreiden tot een autonoom voertuig geconfronteerd met een mens en zien hoe goed we samenwerken met diegenen. Ten tweede, in ons werk kunnen voertuigen alleen vooruit rijden, we laten achteruitrijden niet toe. Dit kan echter helpen te herstellen van situaties waarin we vastzitten. Ten derde, ons werk is momenteel alleen simulatie. Het overbrengen ervan naar een real-world oplossing is een grote stap die we op een gegeven moment moeten nemen.

Wat denkt u? Deel uw vragen en opmerkingen hieronder.