NVIDIA gebruikt AI om camera's duidelijk te laten zien

• Onderzoekers ontwikkelen een diep neuraal netwerk dat het vermogen van een camera om duidelijk te zien evalueert.
• Zelfrijdende voertuigen kunnen dit netwerk gebruiken om betere beslissingen te nemen.

Tientallen bedrijven werken aan autonome voertuigtechnologie en ze benaderen de technische uitdagingen allemaal op verschillende manieren. Om het vermogen van de mens om te zien na te bootsen, vertrouwt technologie voornamelijk op drie basiselementen:radar, camera's en lidar.

Verschillende factoren, zoals regen, sneeuw en andere soorten blokkades, kunnen het camerazicht echter verslechteren. Dit belemmert het vermogen van het robuuste waarnemingssysteem om de omgeving te begrijpen en gegevens die van sensoren binnenkomen te valideren.

Om ongeldigheid van sensorgegevens zo snel mogelijk effectief te detecteren in de verwerkingspijplijn voordat deze naar downstream-modules gaan, hebben onderzoekers van NVIDIA een AI-model ontwikkeld dat het vermogen van een camera om duidelijk te zien evalueert.

Dit model maakt gebruik van een diep neuraal netwerk - ClearSightNet genaamd - om de hoofdoorzaken van blokkades, occlusies en verminderde zichtbaarheid te ontdekken. Het heeft de potentie om

1. Reden voor een breed scala aan mogelijke oorzaken van vermindering van de zichtbaarheid van de camera.
2. Geef bruikbare gegevens.
3. Run van verschillende camera's met lage rekenkundige overhead

Hoe werkt het?

Het netwerk splitst de camerabeelden in twee verschillende delen; een van hen wordt geassocieerd met occlusie, terwijl de andere overeenkomt met de vermindering van de zichtbaarheid.

Bron:NVIDIA | YouTube

Occlusie vertegenwoordigt het specifieke deel van het gezichtsveld van de camera dat wordt geblokkeerd door ondoorzichtige objecten (zoals sneeuw, modder of stof) of dat geen gegevens bevat (bijvoorbeeld verzadigde pixels als gevolg van zonlicht). In deze porties is de waarneming volledig aangetast.

Verminderd zicht vertegenwoordigt delen die gedeeltelijk zijn geblokkeerd door mist, verblinding of zware regen. In dergelijke gevallen moet de beslissing die door algoritmen wordt genomen, worden gemarkeerd met 'lager vertrouwen'.

De linkerkant toont de invoerafbeelding, terwijl de rechterkant de afbeelding is die is bedekt met het neurale netwerkuitvoermasker. Bijna 84 procent van de beeldpixels wordt beïnvloed door gedeeltelijke en volledige occlusie.

Om deze gedeelten weer te geven, plaatst ClearSightNet in realtime een masker op een invoervideo/beeld. Gebieden met verminderde zichtbaarheid worden gemarkeerd met een groene kleur en volledig afgesloten gebieden worden gemarkeerd met rood. Het netwerk geeft ook weer hoeveel gebied van de invoervideo wordt beïnvloed door verminderde zichtbaarheid of occlusie.

Deze gegevens kunnen op verschillende manieren worden gebruikt. De zelfrijdende auto's kunnen er bijvoorbeeld voor kiezen om geen automatische functie toe te passen wanneer het zicht slecht is, en bestuurders te waarschuwen om de voorruit of cameralens schoon te maken. Voertuigen kunnen dit netwerk gebruiken om cameraperceptie te kennen.

Het team is van plan om ClearSightNet verder te verbeteren om end-to-end berekeningen en meer gedetailleerde informatie over camerazichtbaarheid te bieden, waardoor meer controle over het implementatieproces van autonome voertuigen mogelijk wordt.

Lezen:Nvidia AI kan video's van 30 fps converteren naar 240 fps

Wat betreft prestaties [van het huidige ClearSightNet], werkt het netwerk in ongeveer 1,3 milliseconde (geïntegreerde GPU) en 0,7 milliseconde (discrete GPU) per frame op Xavier. Het is al beschikbaar in de NVIDIA DRIVE 9.0.