AI-waarde ontgrendelen met unlabeled data: Hoe Hologram autonoom perceptie stress-test

Data is het levensbloed van autonoom-voertuig (AV)-ontwikkeling, wat de deep-learning-modellen aandraagt die self-driving-systemen mogelijk maken.

Om competitief te blijven, loggen AV-leveranciers miljoenen mijl op publieke wegen, wat petabytes ruwe footage opslaat. Waymo heeft bijvoorbeeld 10 miljoen real-world mijl en 10 miljard gesimuleerde mijl aan opgenomen data overschreden.

Toch stelt de industrie zelden een cruciale vraag: Hoeveel van dat enorme archief is daadwerkelijk gelabeld, en hoe accuraat zijn die labels?

Phil Koopman, co-founder en CTO van Edge Case Research, waarschuwde in een recent EE Times-interview dat "niemand het zich kan permitteren om al het te labelen."

Data-labelen is zowel tijdrovend als kostbaar

Annotatie vereist expert-menselijke reviewers om korte videoclips te bekijken en bounding-boxes te tekenen om elk voertuig, voetganger, bord en verkeerslicht relevant voor een autonoom-rijalgoritme. Het proces is arbeidsintensief en duur.

Een Medium-artikel getiteld "Data Annotation: The Billion Dollar Business Behind AI Breakthroughs" benadrukt de opkomst van managed labeling-diensten die domein-specifieke, high-quality datasets leveren. Het stuk merkt op dat sommige self-driving-startups deze bedrijven tot miljoenen dollars per maand betalen.

IEEE Spectrum rapporteerde dat Carol Reiley, co-founder en president van Drive.ai, zei: "Duizenden mensen labelen boxen om objecten. Voor elk uur rijden, duurt het ongeveer 800 menselijke uren om te labelen." Deze teams worstelen om tempo te houden met de data-instroom.

Bedrijven zoals Drive.ai verkennen deep-learning-gebaseerde annotatie-assistenten om het vervelende labelproces te versnellen.

Unlabeled data benutten

Koopman gelooft dat er een alternatief is voor het labelen van petabytes footage: de data zelf benutten. Edge Case Research ontwikkelde "Hologram," een AI-perceptie stress-test- en risico-analysesysteem ontworpen om perceptie-software-ontwikkeling te versnellen zonder uitgebreide annotatie.

Hologram verwerkt dezelfde unlabeled footage tweemaal. Eerst draait het de footage door een baseline perceptie-engine. Daarna verwerkt het de clip opnieuw met een subtiele ruis-perturbatie, wat een "gestreste" scenario creëert. De ruis onthult verborgen zwaktes in de AI's beslissingsgrenzen.

Terwijl een mens een vervaagd object zou zien en aarzelend zou zijn, kan de AI het volledig missen of verkeerd classificeren. Door dergelijke fouten te onthullen, helpt Hologram ontwikkelaars de exacte condities te pinpointen die misgedrag triggeren.

Omdat het systeem op unlabeled data opereert, omzeilt het de label-bottleneck terwijl het nog steeds actionable insights levert. Hologram vlagt problematische scènes met kleur-gecodeerde balken: oranje duidt op een near-miss die herraining suggereert, en rood markeert een complete fout die dieper onderzoek uitnodigt naar triggerende factoren zoals achtergrondruis of slechte contrast.

Koopman benadrukte dat Hologram's "geheime saus" - geavanceerde engineering en proprietaire algoritmes - het in staat stelt om alleen de meest kritieke anomalieën aan het licht te brengen, wat menselijke review veel efficiënter maakt.

Hij waarschuwde ook dat de publiek beschikbare datasets die door Hologram gebruikt worden, beperkt zijn tot de onderzoekscommunity en gepaard moeten gaan met dezelfde perceptie-engine die de data genereerde voor betekenisvolle analyse.

Hologram's impact visualiseren

De Hologram-engine benadrukt waar een perceptiesysteem een stopbord faalt te detecteren, onthullend triggerende condities zoals ruisige achtergronden. (Bron: Edge Case Research)

Hologram's interface markeert near-misses met oranje balken, wat algoritme-herraining aanmoedigt, en rode balken die complete detectiefouten vlaggen, wat ontwerpers in staat stelt oorzaken te traceren zoals nabijheid aan een paal of laag contrast.

Hologram helpt AV-ontwerpers edge-cases ontdekken waar perceptie-software vreemd gedraagt, potentieel veiligheid in gevaar brengend. (Bron: Edge Case Research)

Strategisch partnerschap met Ansys

Ansys kondigde recent een samenwerking met Edge Case Research aan om Hologram in zijn simulatieplatform te embedden. Het doel is om de eerste uitgebreide simulatie-pijplijn voor autonoom-voertuigontwikkeling te bouwen. Ansys werkt ook met BMW, die zijn eerste AV in 2021 wil leveren.

ANSYS en BMW creëren simulatie-toolchain voor Autonome Rijden. (Bron: Ansys)

— Junko Yoshida, Global Co-Editor-In-Chief, AspenCore Media, Chief International Correspondent, EE Times

>> Dit artikel werd oorspronkelijk gepubliceerd op onze zuster-site, EE Times: "Use Unlabeled Data to See If AI Is Just Faking It."