AI verwijdert ruis in beelden zonder schone trainingsgegevens

• Neurale netwerken kunnen uw foto's automatisch verbeteren zonder ooit te zijn getraind in hoe een ruisvrije foto eruit ziet.
• Het kan worden gebruikt bij fotografie bij weinig licht, magnetische resonantiebeeldvorming en fysiek gebaseerde beeldsynthese. 

Zou het niet mooi zijn als je foto's bij weinig licht, korrelige of korrelige foto's zou kunnen maken en de artefacten en ruis zou kunnen verwijderen zonder Photoshop te gebruiken. Een nieuw machine learning-model kan hetzelfde doen door simpelweg voorbeelden van beschadigde afbeeldingen te observeren.

Signaalreconstructie uit beschadigde metingen is een cruciaal onderdeel van de statistische gegevensanalyse. Tegenwoordig zien we veel belangstelling voor het vermijden van de conventionele statistische modellering van signaalcorrupties, als gevolg van recente ontwikkelingen in machine learning-technieken.

Onderzoekers van MIT, NVIDIA en Aalto University hebben een statistische basisredenering toegepast om reconstructie te signaleren met behulp van neurale netwerken. Het leert signalen te herstellen zonder ooit naar schone signalen te kijken.

Het is anders dan andere state-of-the-art methoden of recentelijk ontwikkelde beeldverbeterende AI. Terwijl andere machine learning-technieken op dit gebied zich richten op het trainen van een neuraal netwerk om foto's te herstellen door zowel ruis als schone afbeeldingen weer te geven, vereist deze methode slechts een paar invoerafbeeldingen met korrel of ruis.

Dit kunstmatige intelligentiesysteem kan uw foto's automatisch verbeteren zonder ooit getraind te zijn in hoe een ruisvrije foto eruit ziet.

Conventionele machine learning-technieken omvatten het trainen van een regressiemodel zoals een convolutioneel neuraal netwerk met grote datasets die paren beschadigde invoer (beelden met ruis) en een schoon doel (vast beeld) bevatten, en het verminderen van het empirische risico.

Aan de andere kant kunnen bij deze methode de schone doelen volledig worden verwijderd, zolang het netwerk maar in staat is elk bronbeeld twee keer te observeren. Het kan worden getraind om afbeeldingen met aanzienlijke (50 procent) uitschietersinhoud te corrigeren. Soms presteert het beter dan het model als er schone exemplaren worden gebruikt. Bovendien is het een minder dure taak dan het verkrijgen van het schone doelwit. 

Referentie:arXiv:1803.04189 | NVIDIA

Om het netwerk op 50.000 afbeeldingen te trainen, gebruikten de onderzoekers NVIDIA Tesla P100 GPU's met TensorFlow-framework, mogelijk gemaakt door de CUDA deep neurale netwerkbibliotheek.

Toepassingen

Er zijn talloze praktijkscenario's waarin het verkrijgen van schone trainingsgegevens een lastige taak is:beeldvorming bij weinig licht, zoals astronomische fotografie, magnetische resonantiebeeldvorming en fysiek gebaseerde beeldsynthese.

Het is duidelijk dat het netwerk niet kan leren kenmerken op te pikken die niet aanwezig zijn in de invoerafbeeldingen, maar hetzelfde geldt voor training met duidelijke doelen.

Voorbeeld MRI-reconstructie | Met dank aan onderzoekers

Lezen:NVIDIA AI kan video's van 30 fps converteren naar 240 fps

In deze studie begonnen de onderzoekers met standaardruisverdeling (inclusief additieve Gaussiaanse ruis) en gingen ze verder met de hardere, analytisch hardnekkige Monte Carlo-ruis in beeldsynthese. Ze merkten ook op dat beeldreconstructie op basis van sub-Nyquist spectrale sampling in MRI (magnetic resonance imaging) alleen kan worden geleerd uit beelden met ruis.