NVIDIA zet AI in voor betere camerakwaliteit bij autonome voertuigen

Onderzoekers ontwikkelen een diep neuraal netwerk dat de vermogen van een camera om duidelijk te zien evalueert. Zelfrijdende voertuigen kunnen dit netwerk gebruiken om betere beslissingen te nemen.

Hoe het werkt

Veel bedrijven werken aan autonome voertuigtechnologie en ze benaderen de engineering-uitdagingen allemaal op verschillende manieren. Om de menselijke capaciteit om te zien na te bootsen, vertrouwt de technologie voornamelijk op drie basiselementen: radar, camera's en lidar.

Echter, verschillende factoren zoals regen, sneeuw en andere soorten blokkages kunnen camerazicht degraderen. Dit hindert het robuuste perceptiesysteem zijn omgeving te begrijpen en data van sensoren te valideren.

Om de ongeldigheid van sensordata zo snel mogelijk in de verwerkingspijplijn te detecteren voordat het naar downstream modules gaat, hebben onderzoekers van NVIDIA een AI-model ontwikkeld dat de vermogen van een camera om duidelijk te zien evalueert.

Dit model gebruikt een diep neuraal netwerk — genaamd ClearSightNet — om root causes van blokkages, occlusies en zichtverminderingen te ontdekken. Het heeft de potentie om:

1. Redeneren over een breed bereik aan mogelijke oorzaken van zichtvermindering van de camera.
2. Actiebare data leveren.
3. Op verschillende camera's draaien met lage computationele overhead.

Hoe het werkt

Het netwerk splitst de camera-afbeeldingen in twee verschillende delen; één geassocieerd met occlusie terwijl het andere correspondeert met zichtvermindering.

Bron: NVIDIA | YouTube

Occlusie vertegenwoordigt het specifieke deel van het zichtveld van de camera dat geblokkeerd is door opake objecten (zoals sneeuw, modder of stof) of geen data bevat (bijvoorbeeld verzadigde pixels door zonlicht). In deze delen is perceptie volledig beeinträchtigd.

Verminderd zicht vertegenwoordigt delen die deels geblokkeerd zijn door mist, glare of zware regen. In dergelijke gevallen moeten de beslissingen genomen door algoritmes gemarkeerd worden met 'lagere betrouwbaarheid'.

Linkerkant toont de invoerafbeelding terwijl de rechterkant de afbeelding is overlaid met het neurale netwerk output-masker. Bijna 84 procent van de afbeeldingspixels zijn beïnvloed door partiële en volledige occlusie.

Om deze delen te tonen, legt ClearSightNet een masker op een invoervideo/afbeelding in real-time. Verminderd zicht regio's zijn gemarkeerd met groene kleur, en volledig geoccludeerde regio's zijn gemarkeerd met rode kleur. Het netwerk toont ook hoeveel oppervlakte van de invoervideo beïnvloed is door verminderd zicht of occlusie.

Deze data kan op verschillende manieren gebruikt worden. Zelfrijdende auto's kunnen er bijvoorbeeld voor kiezen om geen auto-functie toe te passen wanneer zicht laag is, en bestuurders waarschuwen om ruit of camera-lens schoon te maken. Voertuigen kunnen dit netwerk gebruiken om camera-perceptie te kennen.

Het team plannet ClearSightNet verder te verbeteren om end-to-end berekeningen en meer gedetailleerde informatie over camerazichtbaarheid te bieden, wat meer controle over het implementatieproces van autonome voertuigen mogelijk maakt.

Wat prestaties betreft [van de huidige ClearSightNet], draait het netwerk in ongeveer 1,3 milliseconde (geïntegreerde GPU) en 0,7 milliseconde (discrete GPU) per frame op Xavier. Het is al beschikbaar in NVIDIA DRIVE 9.0.