AI denoiset ruisende afbeeldingen zonder schone trainingsdata

• Neurale netwerken kunnen je foto's automatisch verbeteren zonder ooit getraind te zijn op hoe een ruisvrije foto eruitziet.
• Het kan gebruikt worden in low-light fotografie, magnetische resonantie imaging en fysiek-gebaseerde beeldsynthese.

Zou het niet mooi zijn als je je low-light, gepixelde of korrelige foto's kunt nemen en de artefacten en ruis kunt verwijderen zonder Photoshop. Een nieuw machine learning-model kan hetzelfde doen door simpelweg monsters van gecorrumpeerde afbeeldingen te observeren.

Signaalreconstructie uit gecorrumpeerde metingen is een cruciaal onderdeel van statistische data-analyse. Tegenwoordig zien we veel belangstelling in het vermijden van conventionele statistische modellering van signaalcorrupties, dankzij recente vooruitgang in machine learning-technieken.

Onderzoekers van MIT, NVIDIA en Aalto Universiteit hebben een basis statistische redenering toegepast op signaalreconstructie met behulp van neurale netwerken. Het leert signalen te herstellen zonder ooit naar schone te kijken.

Het verschilt van andere state-of-the-art methoden of recent ontwikkelde image-enhancing AI. Terwijl andere machine learning-technieken in dit veld zich richten op het trainen van een neuraal netwerk om foto's te herstellen door zowel ruisende als schone afbeeldingen te tonen, vereist deze methode slechts een paar invoerafbeeldingen met korrel of ruis.

Dit kunstmatige intelligentiesysteem kan je foto's automatisch verbeteren zonder ooit getraind te zijn op hoe een ruisvrije foto eruitziet.

Conventionele machine learning-technieken omvatten het trainen van een regressiemodel zoals een convolutioneel neuraal netwerk met grote datasets die paren bevatten van gecorrumpeerde invoer (ruisende afbeeldingen) en schone target (herstelde afbeelding), en het empirische risico te minimaliseren.

Aan de andere kant, in deze methode, kunnen de schone targets volledig weggegooid worden, zolang het netwerk in staat is om elk bronbeeld twee keer te observeren. Het kan getraind worden om afbeeldingen met significante (50 procent) outlier-content te herstellen. Soms overtreft het het model dat schone voorbeelden gebruikt. Bovendien is het een minder dure taak dan het verkrijgen van de schone target.

Referentie: arXiv:1803.04189 | NVIDIA

Om het netwerk te trainen op 50.000 afbeeldingen, gebruikten de onderzoekers NVIDIA Tesla P100 GPU's met TensorFlow-framework aangedreven door CUDA deep neural network-bibliotheek.

Toepassingen

Er zijn talloze real-world scenario's waar het verkrijgen van schone trainingsdata een klus is: low-light imaging zoals astronomische fotografie, magnetische resonantie imaging en fysiek-gebaseerde beeldsynthese.

Onduidelijk, het netwerk kan niet leren functies op te pikken die niet aanwezig zijn in de invoerafbeeldingen, maar hetzelfde geldt voor training met schone targets.

MRI-reconstructievoorbeeld | Met dank aan de onderzoekers

Lees ook: NVIDIA AI kan 30fps video's converteren naar 240fps

In deze studie begonnen de onderzoekers met standaard ruisverdeling (inclusief Additieve Gaussiaanse ruis), en gingen door naar de lastigere, analytisch onhandelbare Monte Carlo-ruis in beeldsynthese. Ze observeerden ook dat beeldreconstructie uit sub-Nyquist spectrale sampling in MRI (magnetische resonantie imaging) geleerd kan worden uit alleen ruisende afbeeldingen.