AI-blinde vlekken onthullen voor veiligere zelfrijdende voertuigen

Een nieuw machine learning-model maakt zelfrijdende voertuigen veiliger door instanties te detecteren waarin AI uit voorbeelden leert die in de echte wereld tot gevaarlijke fouten kunnen leiden.

De uitdaging van simulatie versus werkelijkheid

Recente vooruitgang in kunstmatige intelligentie heeft zelfrijdende voertuigen en autonome robots slimmer gemaakt. Hoewel nog in de kinderschoenen, worden zelfrijdende auto's steeds algemenener en kunnen ze ons vervoerssysteem in de komende jaren radicaal transformeren.

Onderzoekers van MIT en Microsoft hebben een model ontwikkeld dat 'blinde vlekken' van autonome systemen kan onthullen met behulp van menselijke input. Het identificeert situaties waarin deze systemen leren (uit trainingsvoorbeelden of simulaties) die in de echte wereld tot fouten kunnen leiden.

De AI die zelfrijdende auto's aandrijft, wordt uitgebreid getraind in simulatie om het voertuig voor te bereiden op bijna alle mogelijke scenario's op de weg. Toch maakt het systeem soms fouten in de echte wereld: het verandert zijn gedrag niet (waar het wel zou moeten) in bepaalde scenario's.

Bijvoorbeeld: als een zelfrijdende auto (niet uitgebreid getraind) op de snelweg rijdt en een ambulance zet zijn sirene aan, kan de auto de ambulance alleen als een grote witte auto herkennen en niet opzij rijden of voorrang geven aan de ambulance of andere hulpvoertuigen.

Onderzoekers willen de kloof tussen simulatie en de echte wereld overbruggen door menselijke input te integreren en autonome systemen beter te laten weten wat ze niet weten.

Hoe het model menselijke feedback verwerkt

Het autonome systeem wordt initieel getraind in een virtuele simulatie waarin het elke situatie koppelt aan de beste actie. Vervolgens wordt het in de echte wereld ingezet, waar mensen het systeem onderbreken wanneer het onjuiste acties onderneemt.

Mensen kunnen data op twee manieren aanleveren: correcties of demonstraties. Voor correcties kan een persoon achter het stuur zitten terwijl het voertuig zelfstandig een geplande route aflegt. Als het systeem onpasselijke acties onderneemt, kan de mens het stuur overnemen, wat een signaal naar de AI stuurt dat het onjuist handelde en wat het in die specifieke situatie had moeten doen.

Referentie: arXiv:1805.08966 | MIT

Alternatief kunnen mensen het systeem trainen door het voertuig in de echte wereld te besturen. Het systeem analyseert en vergelijkt elke menselijke actie met wat het zelf zou hebben gedaan in die omstandigheden. Elke afwijking wijst op een onacceptabele actie van het systeem.

Omgaan met blinde vlekken

Na de handmatige training heeft het systeem essentieel een lijst met acceptabele en onacceptabele acties. Het doel is de dubbelzinnige situaties (of blinde vlekken) te detecteren die de AI moeilijk vindt te differentiëren.

Met dank aan de onderzoekers | MIT

Bijvoorbeeld: het autonome systeem heeft meerdere keren naast een groot voertuig gereden zonder opzij te rijden. Als het hetzelfde doet met een ambulance (die er voor de AI exact hetzelfde uitziet), ontvangt het een feedbacksignaal dat onacceptabele actie vertegenwoordigt.

Om dit type situatie aan te pakken, gebruikte het team een machine learning-methode bekend als het Dawid-Skene-algoritme. Het neemt alle blinde vlekken gelabeld als 'acceptabel' en 'onacceptabel', aggregateert ze en gebruikt kansberekeningen om patronen in die labels te detecteren.

Het algoritme levert vervolgens een enkele geaggregeerde blinde vlek op met een betrouwbaarheidsniveau voor elke situatie. Het genereert ook een heatmap die de laag tot hoge kans toont op een blinde vlek voor elke situatie.

In de echte wereld, als het model een situatie als blinde vlek markeert met hoge kans, kan het een mens om de juiste actie vragen, wat veiligere uitvoering mogelijk maakt. Dit type model kan ook autonome robots helpen voorspellen wanneer ze in nieuwe omstandigheden onpasselijke acties kunnen ondernemen.