AI drijft realtime 3D-haarrendering met 30.000 haren

Onderzoekers ontwikkelen een neuraal netwerk dat volledige 3D-haargeometrie kan produceren uit een 2D-afbeelding. Het netwerk kan tot 30.000 haren in milliseconden renderen. Het kan diverse haarstijlen, waaronder golvend, krullend en recht, soepel samplen en interpoleren.

De uitdaging van haarrendering

Realistisch haar renderen op machines is waarschijnlijk de moeilijkste taak bij het digitaliseren van virtuele mensen. In vergelijking met andere objecten zoals ogen, neus en oren, omvat haar een grote variatie aan vormvariaties en kan extreem complex zijn door de hoge deformeerbaarheid van elk enkel haar en zijn volumetrische structuur.

Het is niet zo dat bestaande systemen geen hoogwaardige 3D-haarmodellen kunnen genereren, maar ze vereisen meestal specifieke hardware- en softwareconfiguraties, die niet eenvoudig implementeerbaar zijn. Sommige moderne technieken gebruiken wel data-gedreven benaderingen, maar zijn niet haalbaar voor realtime toepassingen en systemen met beperkt geheugen.

Nu hebben onderzoekers van Microsoft, Pinscreen en de Universiteit van Zuid-Californië een diep-lerenmodel gebouwd dat volledige 3D-haargeometrie in realtime kan produceren uit 2D-afbeeldingen.

In plaats van structuren te synthetiseren in de vorm van puntenwolken of volumetrische roosters, creëert het direct haarstrengen. Deze methode is meer geschikt voor niet-manifold structuren en kan hogere details en nauwkeurigheid bieden.

HairNet

Het neurale netwerk, HairNet genoemd, is in staat om continu 3D-haargeometrie te produceren en weer te geven. Het kan diverse haarstijlen, waaronder golvend, krullend en recht, soepel samplen en interpoleren.

De neurale netwerk-pipeline bestaat uit 3 stappen: voorverwerking, het genereren van haarstrengen en reconstructie.

HairNet bevat een convolutionele encoder voor het extraheren van hoog-niveau kenmerken van haar (in vectorvorm) uit een 2D-afbeelding, en een deconvolutionele decoder voor het genereren van 32x32 haarstreng-kenmerken, gelijkmatig verdeeld over de hoofdhuid. Deze haarstreng-kenmerken worden vervolgens geïnterpoleerd op de hoofdhuidruimte, en uiteindelijk voorgesteld als een reeks 3D-punten.

Om de gerenderde haarstijlen naar een meer plausibele ruimte te duwen, introduceerden de onderzoekers 'reconstructieverlies' en 'botsingsverlies' tussen een lichaamsmodel en haarstrengen. Ze gebruikten de invoerafbeelding als gewicht om het verlies te moduleren, wat de nauwkeurigheid verder verbeterde.

Training

Onderzoekers trainde het neurale netwerk op een grote dataset met 40.000 haarstijlen en 160.000 tweedimensionale foto's willekeurige viewpoints. Het netwerk leerde dan 3D-haar in verschillende stijlen, kleuren en lengtes te regenereren vanuit een enkele 2D-foto.

De AI werd getraind op Nvidia Titan Xp GPU's met het PyTorch-framework aangedreven door de CUDA deep neural network bibliotheek.

Het kan tot 30.000 haarstrengen in milliseconden renderen. Bovendien kan het video nabootsen en elke streng renderen – allemaal met elkaar interagerend.

Toekomstig werk

De techniek faalt ook wanneer het haar lichtelijk geoccludeerd is in de gegeven afbeelding. Daarom plannen ze de trainingsdatasets in de toekomst te verbeteren door meer willekeurige occlusie te integreren.