DeepLabCut: Open-source AI voor nauwkeurig lichaamsdeel-tracking bij bewegende dieren

Een nieuw deep learning-gebaseerd algoritme trackt en labelt lichaamsdelen van bewegende soorten met minimale trainingsdata. Het vereist geen computationeel lichaamsmodel, tijdsdata of stokfiguur.

Wat precies hebben ze gedaan?

De onderzoekers examineerden de feature detector-architectuur van een recent ontwikkeld multi-person pose estimation-model, DeeperCut. Ze toonden aan dat een kleine hoeveelheid trainingsfoto's (ongeveer 200) voldoende is om dit neurale netwerk te trainen tot menselijke nauwkeurigheid.

Dit is mogelijk gemaakt door transfer learning, een machine learning-methode waar een model getraind op één taak toegepast wordt op een andere gerelateerde taak. In dit onderzoek werden de feature detectors gebaseerd op intensieve diepe neurale netwerken vooraf getraind op een gigantische dataset (ImageNet) om objecten te herkennen.

Daarom kan men deze robuuste feature detectors trainen door minder frames te labelen (een paar honderd). Eenmaal getraind, kan het een breed scala aan experimenteel relevante lichaamsdelen lokaliseren.

Onderzoekers demonstreerden de capaciteit van DeepLabCut door oren, snuit en staartbasis te tracken tijdens een navigatietaak geleid door geuren. Ze traceerden ook verschillende delen van een vruchtenvlieg in een 3D-kamer.

De neurale netwerken zijn getraind op NVIDIA Titan Xp en GeForce GTX 1080 Ti GPU's met TensorFlow versneld door CUDA deep learning framework. Met dergelijke krachtige hardware kan men 682×540 frames verwerken op 30 fps.

Het tool is in staat om real-time feedback te geven gebaseerd op houdingschattingen geëxtraheerd uit videografie. Bovendien kan men invoerframes adaptief ophogen rond de soort om de verwerkingssnelheid te verhogen, of de netwerkarchitectuur aanpassen om verwerkingstijden te verbeteren.

Referentie: arXiv:1804.03142 | GitHub

Over het algemeen werkt DeepLabCut in vier stadia:

1. Meerdere frames uit video extraheren voor labelen
2. Labels gebruiken om trainingsdata te genereren
3. Neurale netwerken trainen volgens vereiste feature sets
4. Deze feature-posities extraheren uit ongelabelde data.

Met dank aan de onderzoekers

Hoe is dit nuttig?

De bovenstaande methode heeft geen computationeel lichaamsmodel, tijdsdata, stokfiguur of gecompliceerd inferentie-algoritme nodig. Het kan snel uitgezet worden voor meerdere gedragingen die kwalitatief verschillende uitdagingen aan computer vision poseren.

Hoewel onderzoekers DeepLabCut demonstreerden op Drosophila, muizen en paarden, zijn er zeker geen beperkingen op de methode, en kan het op andere soorten toegepast worden.

Het tracken van dieren via videografie kan nieuwe inzichten onthullen over hun biomechanica en ons helpen begrijpen hoe hun hersenen functioneren. Bij mensen kan het technieken verbeteren die gebruikt worden in fysieke therapie en atleten helpen mijlpalen te bereiken die in het verleden niet mogelijk waren.