Zelfrijdende auto's hebben moeite donkergehachte voetgangers te detecteren — waarom bias in trainingsdata belangrijk is

Zelfrijdende auto's zijn 5% minder nauwkeurig in het detecteren van donkergehachte mensen. Dit gebeurt omdat de meerderheid van object-detectie-algoritmen voornamelijk getraind zijn op datasets met afbeeldingen van blanken.

Hogere foutpercentages voor bepaalde demografische groepen

Het team begon met het onderzoeken van de nauwkeurigheid van state-of-the-art object-detectiemodellen die voornamelijk gebruikt worden in autonome voertuigen. Ze wilden ontdekken hoe precies deze modellen mensen van verschillende demografische groepen detecteren.

Ze analyseerden een enorme dataset met foto's van voetgangers en splisten de mensen op basis van hun huidskleur. Vervolgens keken ze naar hoe vaak dergelijke modellen de aanwezigheid van mensen in de donkergehachte groep en de lichtgehachte groep nauwkeurig identificeerden.

Referentie: arXiv:1902.11097 | Georgia Institute of Technology

De onderzoekers ontdekten dat deze modellen gemiddeld 5% minder nauwkeurig waren in het detecteren van de donkergehachte groep. Deze inconsistentie bleef hetzelfde, zelfs na het aanpassen van een paar cruciale parameters zoals het frequent belemmerde zicht van voetgangers en de tijdstip van de dag op de foto's.

De studie overweegt alleen modellen gebruikt voor onderdoeleinden, getraind op publiek beschikbare datasets. Het analyseerde geen model dat daadwerkelijk gebruikt wordt door commerciële autonome voertuigen. Echter, dit betekent niet dat de bevindingen waardeloos zijn: studies als deze bieden sterke inzichten in echte fouten en risico's.

Redenen achter gepartijde/racistische algoritmes

Dit is niet de eerste keer dat iemand een rapport publiceert over gepartijde algoritmes. Vorig jaar onthulde een studie dat 3 gezichtsherkenningssystemen ontwikkeld door tech-giganten (Microsoft, IBM en Megvii) waarschijnlijker het geslacht van donkergehachte mensen verkeerd identificeerden dan van lichtgehachte mensen.

Afbeeldingscredit: Iyad Rahwan

Omdat kunstmatige intelligentie-modellen — met name machine learning en deep learning algoritmes — leren van de trainingsdatasets waar ze gevoed worden, als je niet genoeg variëteit aan data aanlevert, zullen deze modellen niet nauwkeurig werken wanneer ze in de echte wereld geïmplementeerd worden.

Hetzelfde geldt voor zelfrijdende auto's: de object-detectie-algoritmen waren voornamelijk getraind op datasets met afbeeldingen van blanken. Ook legden deze algoritmes niet veel gewicht op leren van beperkte datasets (mensen met donkere huidskleuren).

Onderzoekers geloven dat deze modellen verbeterd kunnen worden door rasmatig diverse voorbeelden op te nemen en meer nadruk te leggen op beperkte voorbeelden tijdens training.