Zelfrijdend model navigeert door een zwaar verkeersprobleem:smalle straten

Laten we zeggen dat twee voertuigen recht op elkaar in een eenrichtingsstraat rijden.

Als je in dit soort strakke, uitdagende rijscenario's achter het stuur zit, kun je onderhandelen met de partijen in de buurt. Je kunt naar de kant van de weg gaan en vervolgens de bestuurder voor je uittrekken om door de dunne rijstrook te rijden. Door interactie kun je manoeuvres bedenken die iedereen veilig en op hun bestemming houden.

Een zelfrijdende auto heeft een grotere uitdaging en moet op de een of andere manier de bestuurders in de buurt en hun bereidheid om aardig te spelen begrijpen.

Een nieuw algoritme dat in ontwikkeling is, kan een autonoom voertuig door zwaar verkeer in een drukke, smalle straat leiden.

Het algoritme, gebouwd door onderzoekers van de Carnegie Mellon University Argo AI Center for Autonomous Vehicle Research , neemt zijn beslissingen door verschillende niveaus van coöperatieve bestuurders te modelleren - hoe waarschijnlijk het is dat een bestuurder stopt om een ​​andere bestuurder te laten passeren.

Met 'Multi-Agent Reinforcement Learning' of MARL heeft het team, geleid door onderzoeker Christoph Killing, autonome voertuigen menselijk gedrag laten vertonen, waaronder defensief rijden en het interpreteren van het gedrag van andere agenten - tot nu toe in simulatie.

Het algoritme is in de echte wereld niet op een voertuig gebruikt, maar de resultaten zijn veelbelovend, dankzij het op beloningen gebaseerde systeem van het model.

"We stimuleren interacties met veiligheid in het achterhoofd", zegt Killing, een voormalig gastonderzoeker aan het Robotics Institute van de School of Computer Science en nu onderdeel van het Autonomous Aerial Systems Lab aan de Technische Universiteit van München.

In een korte Q&A met Tech Briefs hieronder legt Christoph meer uit over hoe het op incentives gebaseerde model van zijn team omgaat met moeilijke verkeerssituaties, waar er geen officiële verkeersregels zijn.

Tech Briefs: Zou u uw model omschrijven als meer coöperatief of agressiever bij het navigeren door een uitdaging die een beetje van beide vereist?

Christoph Killing: Zoals in elk rijscenario, moeten autonome voertuigen veiligheid voorop stellen en alle verkeersregels volgen. Maar - en dit is het mooie en de uitdaging van het beschouwde scenario - er zijn geen overkoepelende verkeersregels in dit soort scenario's (in tegenstelling tot bijvoorbeeld vierrichtingsstopkruisingen). Twee voertuigen met gelijke voorrang moeten in wezen onderhandelen over wie eerst gaat en wie wacht.

Als beide voertuigen puur gericht zijn op veiligheid, zullen ze allebei stoppen. De belangrijkste uitdaging waarmee we in ons onderzoek werden geconfronteerd, was:hoe zorgen we ervoor dat één voertuig stopt en één keer gaat - niet om beide voertuigen te laten stoppen, niet om beide voertuigen te laten gaan, wanneer elk zijn eigen beslissingen neemt zonder enige coördinerende instantie.

We stimuleren interacties met veiligheid in het achterhoofd; crashen op snelheid is erger dan een time-out - maar time-outs resulteren ook in een kleine boete om agenten te stimuleren om te leren communiceren en elkaar te passeren.

Tech Briefs :Wat zijn de belangrijkste parameters die uw model gebruikt om de schijf uit te voeren? Op welke criteria baseert het algoritme zijn beslissingen?

Christoph Killing :Ons algoritme neemt waar wat beschikbaar zou zijn op een echte auto. We hebben afstands- en relatieve snelheidsmetingen rond de voorkant van de auto (zie Fig. 2 in het rapport hier ). In vergelijking met gerelateerd werk gebruiken we met name geen vogelvluchtperspectief op het scenario, maar een egocentrisch perspectief. Dit maakt het een beetje lastiger omdat we nu blinde vlekken hebben. Deze observatie wordt aangevuld met andere parameters, zoals de hierboven genoemde medewerking om de agent te vertellen hoe agressief hij zich moet gedragen, maar ook de huidige stuurhoek en gasklepstand (die u ook zou weten als u in dit scenario zelf rijdt).

Tech Briefs :Wat is nog steeds een uitdaging voor het algoritme om goed te krijgen?

Christoph Killing :Er zijn twee grote uitdagingen:overdreven agressieve paren en overdreven passieve paren. (Vergelijk de visualisaties hier .) Met name ons beleid is meestal in staat om over het scenario te onderhandelen. Toch kunnen menselijke passagiers behoorlijk ongelukkig zijn als hun auto enkele van de hier getoonde manoeuvres uitvoert .

Tech Briefs :Wat doet het algoritme als het duidelijk is dat een andere bestuurder een agressieve, "slechte" bestuurder is? Of een overdreven "coöperatieve" chauffeur?

Christoph Killing :We testen ons rijbeleid door aan elk voertuig een coöperatieve waarde toe te kennen en het te vertellen hoe agressief het zich moet gedragen. Elk kent alleen zijn eigen medewerking, niet die van de tegenpartij. Deze coöperatieve waarden vertalen zich op een vrij ongecompliceerde manier in rijgedrag:een niet-coöperatieve bestuurder is alleen geïnteresseerd in zijn eigen vooruitgang. Een zeer coöperatieve chauffeur maakt het niet uit welk voertuig het eerst vooruitgang boekt, als er maar iemand gaat. Deze waarden staan ​​vast tijdens de interactie.

(We denken niet aan "je geduld verliezen". Ik ga hier niet diep induiken, maar laten we het bij "om wiskundige redenen" houden.)

Tech Briefs :Vereist een deel van het model een soort "lezen" van de tegenpartij?

Christoph Killing :Een woord over het "lezen":In robotica maken we onderscheid tussen de toestand van de wereld (d.w.z. de planeet Aarde zoals die nu is) en een observatie. Onze voertuigen hebben geen geheugenmodule. Dus, hoe gaan we om met dingen die we op dit moment niet zien?

Meer zelfrijdende auto's op technische briefing

Een waarschuwingssysteem voor zelfrijdende auto's leert van storingen.

Software van de Technische Universiteit van München houdt zelfrijdende voertuigen op een veilig pad.

Laten we bijvoorbeeld zeggen dat u met iemand in Zoom-gesprek bent. Je neemt als het ware een gedeeltelijke waarneming van de planeet Aarde waar. De andere partij neemt een koffiemok van buiten het gezichtsveld van hun camera, neemt een slok en zet het weer neer buiten het gezichtsveld van hun camera. Als je alleen rekening houdt met de allerlaatste observatie die je hebt gemaakt nadat de mok is neergezet en wordt gevraagd wat ze drinken, weet je het gewoon niet (omdat er geen geheugen is). Maar als je de afgelopen seconden verschillende observaties op elkaar stapelt (we noemen het 'aaneenschakelen'), kun je iets afleiden over de toestand van de wereld als je de mok door verschillende frames ziet bewegen. Op basis van hoe snel ze het verplaatsen, kun je misschien zelfs iets vertellen over hun humeur.

Evenzo kent in ons scenario elke auto alleen de andere agent, gebaseerd op wat hij kan waarnemen vanuit de observatieruimte (getoond in figuur 2. in de paper ). Interne toestanden (bijvoorbeeld de coöperatieve waarde van de andere auto) zijn onbekend. We voegen verschillende van die gedeeltelijke observaties van elk voertuig samen om hen in staat te stellen impliciet een idee te vormen over hoe coöperatief het andere voertuig zou kunnen zijn. We doen dit niet handmatig, maar laten het Deep Neural Network, de kunstmatige intelligentie, de taak op zich nemen. Dit Neurale Net moet ook het antwoord op uw vraag leren, namelijk wat te doen nadat het een bepaalde agressiviteit of overdreven coöperatief gedrag heeft opgemerkt.

Tech Briefs :Hoe merkt het model een "agressief" of "coöperatief" gedrag op en reageert het dienovereenkomstig?

Christoph Killing :Een overdreven agressieve agent kan bijvoorbeeld gewoon in dit knelpunt van het scenario terechtkomen en de andere agent in wezen dwingen te wachten. Een overdreven coöperatieve agent zou - zodra de volledige omvang van het knelpunt waarneembaar is door zijn sensoren - vertragen en wachten. Hier is ons beleid getraind om onmiddellijk de aanvullende actie te selecteren:een vertraging detecteren en gaan, of omgekeerd.

Tech Briefs :Wat volgt er voor dit onderzoek?

Christoph Killing :Veel dingen:Drie belangrijke punten:Ten eerste, het huidige werk is autonoom voertuig dat alleen wordt geconfronteerd met autonoom voertuig. We zullen dit moeten uitbreiden naar een autonoom voertuig dat wordt geconfronteerd met een mens en kijken hoe goed we daarmee samenwerken. Ten tweede kunnen voertuigen in onze werkvoertuigen alleen vooruit rijden, achteruitrijden is niet toegestaan. Dit kan echter helpen om te herstellen van situaties waarin we vastzitten. Ten derde is ons werk momenteel alleen simulatie. Het overzetten naar een echte oplossing is een grote stap die we op een gegeven moment moeten nemen.

Wat denk je? Deel uw vragen en opmerkingen hieronder.