AI zorgt voor realtime 3D-haarweergave met 30.000 strengen

• Onderzoekers ontwikkelen een neuraal netwerk dat volledige 3D-haargeometrie uit 2D-beelden kan produceren. 
• Het netwerk kan in milliseconden tot 30.000 haarlokken weergeven.
• Het kan verschillende kapsels soepel samplen en interpoleren, inclusief golvend, krullend en steil. 

Het weergeven van realistische haren op machines is waarschijnlijk de zwaarste taak bij het digitaliseren van virtuele mensen. Vergeleken met andere objecten zoals ogen, neus en oren, kent haar een breed scala aan vormvariaties en kan het uiterst complex zijn vanwege de mate van vervormbaarheid van elke afzonderlijke streng en de volumetrische structuur ervan.

Het is niet zo dat bestaande systemen geen 3D-haarmodellen van hoge kwaliteit kunnen genereren, maar ze vereisen doorgaans specifieke hardware- en software-instellingen, die niet gemakkelijk inzetbaar zijn. Sommige moderne technieken maken gebruik van datagestuurde benaderingen, maar zijn niet haalbaar voor realtime toepassingen en systemen met beperkte geheugenruimte.

Nu hebben onderzoekers van Microsoft, Pinscreen en University of Southern California een deep-learning model gebouwd dat in realtime volledige 3D-haargeometrie uit 2D-afbeeldingen kan produceren.

In plaats van structuren in de vorm van puntenwolken of volumetrische rasters te synthetiseren, creëert het de haarlok rechtstreeks. Deze methode is geschikter voor niet-verdeelbare structuren en zou hogere details en nauwkeurigheid kunnen opleveren.

Haarnet

Het neurale netwerk, wat zij HairNet noemen, is in staat continu 3D-haargeometrie te produceren en weer te geven. Het kan verschillende kapsels soepel samplen en interpoleren, inclusief golvend, krullend en steil.

De neurale netwerkpijplijn bestaat uit 3 stappen:voorbewerking, het genereren van haarstrengen en reconstructie.

HairNet bevat een convolutionele encoder voor het extraheren van haarkenmerken op hoog niveau (in de vorm van een vector) uit een 2D-beeld, en een de-convolutionele decoder voor het genereren van 32*32 strengkenmerken die gelijkmatig over de hoofdhuid zijn verdeeld. Deze strengkenmerken worden vervolgens geïnterpoleerd op de hoofdhuidruimte, die uiteindelijk wordt weergegeven als een reeks 3D-punten.

Netwerkarchitectuur | Met dank aan onderzoekers 

Om de weergegeven kapsels naar een meer plausibele ruimte te duwen, introduceerden onderzoekers ‘reconstructieverlies’ en ‘botsingsverlies’ tussen een lichaamsmodel en haarlokken. Ze gebruikten het invoerbeeld als een gewicht om het verlies ervan te moduleren, waardoor de nauwkeurigheid verder werd verbeterd.

Training

Onderzoekers trainden het neurale netwerk op een grote dataset met 40.000 kapsels en 160.000 tweedimensionale afbeeldingen vanuit willekeurige gezichtspunten. Vervolgens leerde het netwerk 3D-haar in verschillende stijlen, kleuren en lengtes te regenereren op basis van één enkele 2D-foto.

Haar uit een 2D-afbeelding weergeven met HairNet | Met dank aan onderzoekers 

De AI is getraind op Nvidia Titan Xp GPU's (grafische verwerkingseenheden) met een PyTorch-framework, mogelijk gemaakt door de diepe neurale netwerkbibliotheek van CUDA.

Referentie: arXiv:1806.07467

Het kan tot 30.000 haarlokken in milliseconden weergeven. Bovendien kan het video nabootsen en elke streng weergeven, die allemaal met elkaar in wisselwerking staat.

Toekomstig werk

Het team concludeerde dat hun techniek nog niet perfect is. Het kan geen exotische kapsels aan, zoals Afro-, kinky- of buzz-cuts. Het trainen van het netwerk op enorme datasets met meer variaties zou dit probleem echter kunnen oplossen.

Lezen:AI kan iedereen in elke houding plaatsen | Menselijke beelden synthetiseren in onzichtbare poses

De techniek faalt ook wanneer het haar enigszins ingesloten is in het gegeven beeld. Daarom zijn ze van plan om trainingsdatasets in de toekomst te verbeteren door meer willekeurige occlusie te integreren.