Het ontdekken van 'blinde vlekken' in AI om de veiligheid van zelfrijdende voertuigen te verbeteren

• Nieuw model op basis van machine learning maakt voertuigen zonder bestuurder veiliger.
• Het detecteert gevallen waarin AI kan leren van voorbeelden die in de echte wereld gevaarlijke fouten kunnen kosten.

Recente ontwikkelingen op het gebied van kunstmatige intelligentie hebben zelfrijdende voertuigen en autonome robots slimmer gemaakt. Hoewel ze nog in de kinderschoenen staan, komen auto's zonder bestuurder steeds vaker voor en kunnen ze ons transportsysteem de komende jaren radicaal veranderen.

Recent ontwikkelden onderzoekers van MIT en Microsoft een model dat met behulp van menselijke input ‘blinde vlekken’ van autonome systemen kan blootleggen. Het identificeert gevallen waarin deze autonome systemen leren (van trainingsvoorbeelden of simulaties) wanneer ze fouten kunnen maken in echte omgevingen.

De AI die zelfrijdende auto's aandrijft, is bijvoorbeeld uitgebreid getraind in simulatie om het voertuig voor te bereiden op bijna alle mogelijke scenario's op de weg. Het systeem maakt echter soms fouten in de echte wereld:het verandert zijn gedrag niet (waar het zou moeten) in bepaalde scenario's.

Als een auto zonder bestuurder (niet uitgebreid getraind) bijvoorbeeld over de snelweg rijdt en een ambulance op zijn sirene afgaat, kan de auto de ambulance alleen als een grote witte auto zien en mag hij niet stoppen of voorrang verlenen aan de ambulance of een ander noodgeval voertuigen.

Onderzoekers willen de kloof tussen simulatie en de echte wereld overbruggen door menselijke input te integreren en autonome systemen te helpen beter te weten wat ze niet weten.

Hoe het model menselijke feedback verwerkt?

Het autonome systeem wordt in eerste instantie getraind op een virtuele simulatie waarbij het elke situatie in kaart brengt voor de beste actie. Het wordt vervolgens ingezet in de echte wereld, waar mensen het systeem onderbreken wanneer het onjuiste acties onderneemt.

Mensen kunnen gegevens voeden door middel van correcties of demonstraties. Om correcties aan te brengen, kan een persoon op de bestuurdersstoel zitten terwijl het voertuig zichzelf langs een geplande route rijdt. Als het systeem ongepaste actie(s) onderneemt, kan de mens het stuur overnemen en dit stuurt een signaal naar de AI dat het verkeerde acties ondernam en wat het in die specifieke situatie zou moeten doen.

Referentie: arXiv:1805.08966 | MIT

Als alternatief kunnen mensen het systeem trainen door het voertuig in de echte wereld te demonstreren/rijden. Het systeem analyseert en vergelijkt elke menselijke handeling met wat het in die toestand zou hebben gedaan. Elke mismatch (is die er is) wijst op een onaanvaardbare actie van het systeem.

Omgaan met blinde vlekken

Zodra de handmatige training voorbij is, heeft het systeem in wezen een lijst met acceptabele en onaanvaardbare acties. Het doel is om de ambigue situaties (of blinde vlekken) te detecteren die AI moeilijk te onderscheiden vindt.

Met dank aan onderzoekers | MIT

Het autonome systeem kan bijvoorbeeld meerdere keren naast een groot voertuig zijn gereden zonder te stoppen. Als het echter hetzelfde doet met een ambulance (die precies hetzelfde lijkt voor de AI), ontvangt het een feedbacksignaal dat staat voor onaanvaardbare actie.

Om dit soort situaties aan te pakken, gebruikte het team een ​​machine learning-methode die bekend staat als het Dawid-Skene-algoritme. Het neemt alle blinde vlekken die zijn bestempeld als 'aanvaardbaar' en onaanvaardbaar', aggregeert ze en gebruikt waarschijnlijkheidsberekeningen om patronen in die labels te detecteren.

Het algoritme levert dan een enkele geaggregeerde blinde vlek op, samen met een betrouwbaarheidsniveau voor elke situatie. Het genereert ook een heatmap die voor elke situatie een lage tot hoge kans op een blinde vlek laat zien.

Lezen:nieuw algoritme voor zelfrijdende voertuigen kan agressief van rijstrook veranderen

Als het model in de echte wereld een situatie als een blinde vlek met grote waarschijnlijkheid in kaart brengt, kan het een mens om passende actie vragen, waardoor een veiligere uitvoering mogelijk wordt. Dit type model kan autonome robots ook helpen te voorspellen wanneer ze ongepaste acties ondernemen in nieuwe omstandigheden.