DeepLabCut:een open source AI om lichaamsdelen van bewegende soorten te volgen

• Nieuw algoritme op basis van deep learning volgt en labelt lichaamsdelen van bewegende soorten met minimale trainingsgegevens.
• Het vereist geen computationeel lichaamsmodel, tijdgegevens en stick-figuren.

Om de hersenen van welke soort dan ook te begrijpen, is het noodzakelijk om hun gedrag nauwkeurig te kwantificeren. Videotracking is een van de beste opties om het gedrag van dieren in verschillende configuraties te observeren en vast te leggen. Het vereenvoudigt de analyse aanzienlijk en maakt zeer nauwkeurige tracering van lichaamsdelen mogelijk.

Het extraheren van specifieke aspecten van een gedrag voor gedetailleerd onderzoek kan echter een vervelend en tijdrovend proces zijn. De bestaande computergebaseerde tracking maakt gebruik van reflecterende markering (lichaamsdelen worden gemarkeerd met markeringen), waarbij de positie en het aantal markeringen moeten worden bepaald voordat wordt opgenomen.

Nu hebben onderzoekers van de Harvard University en de Universiteit van Tübingen een AI-tool ontwikkeld met de naam DeepLabCut die lichaamsdelen van bewegende soorten automatisch volgt en labelt. Deze markeringsloze pose-inschattingstechniek is gebaseerd op diepgaande leermethoden die fatsoenlijke resultaten opleveren met minimale trainingsgegevens.

Wat hebben ze precies gedaan?

De onderzoekers onderzochten de kenmerkende detectorarchitectuur van een recent ontwikkeld model voor het schatten van poses voor meerdere personen, DeeperCut. Ze toonden aan dat een kleine hoeveelheid trainingsfoto's (ongeveer 200) voldoende is om dit neurale netwerk te trainen om menselijke nauwkeurigheid te bereiken.

Het is mogelijk gemaakt door transfer learning, een methode voor machinaal leren waarbij een model dat op de ene taak is getraind, wordt toegepast op een andere gerelateerde taak. In dit onderzoek werden de functiedetectoren op basis van intensief diepe neurale netwerken vooraf getraind op een gigantische dataset (ImageNet) om objecten te herkennen.

Daarom kan men deze robuuste feature-detectoren trainen door minder frames te labelen (een paar honderd). Eenmaal getraind, kan het een breed scala aan experimenteel relevante lichaamsdelen lokaliseren.

Onderzoekers demonstreerden de mogelijkheden van DeepLabCut door oren, snuit en staartbasis te volgen tijdens een navigatietaak geleid door geuren. Ze hebben ook verschillende delen van een fruitvlieg getraceerd in een 3D-kamer.

De neurale netwerken zijn getraind op NVIDIA Titan Xp en GeForce GTX 1080 Ti GPU's met TensorFlow versneld door CUDA deep learning framework. Met zulke krachtige hardware kan men 682*540 frames verwerken met 30 fps.

De tool kan realtime feedback geven op basis van houdingsschattingen die zijn geëxtraheerd uit videografie. Bovendien kan men inputframes op een adaptieve manier rond de soort bijsnijden om de verwerkingssnelheid verder te verhogen, of de netwerkarchitectuur aanpassen om de verwerkingstijden te verhogen.

Referentie:  arXiv:1804.03142 | GitHub

Over het algemeen werkt DeepLabCut in vier fasen:

1. Meerdere frames uit video extraheren om te labelen
2. Labels gebruiken om trainingsgegevens te genereren
3. Train neurale netwerken volgens de vereiste functiesets
4. Deze functieposities extraheren uit niet-gelabelde gegevens.

Met dank aan onderzoekers

Hoe is dit nuttig?

De hierboven beschreven methode heeft geen computationeel lichaamsmodel, tijdgegevens, stokcijfer of ingewikkeld inferentie-algoritme nodig. Het kan snel worden ingezet voor meerdere gedragingen die kwalitatief verschillende uitdagingen vormen voor computervisie.

Hoewel onderzoekers DeepLabCut hebben gedemonstreerd op Drosophila, muizen en paarden, zijn er zeker geen beperkingen aan de methode en kan deze ook op andere soorten worden toegepast.

Lezen:Spamfilterende AI leert het gedrag van een dier28

Het volgen van dieren door middel van videografie kan nieuwe inzichten opleveren over hun biomechanica en ons helpen begrijpen hoe hun hersenen werken. Bij mensen kan het de technieken die worden gebruikt in fysiotherapie verbeteren en atleten helpen mijlpalen te bereiken die in het verleden niet mogelijk waren.