Hoe een LiteRT Python Wheel te bouwen voor de AXC F2152

Vorige maand kondigde Google een rebranding/hernoeming van TensorFlow Lite naar LiteRT aan (link naar artikel). Het maakt nu deel uit van hun herziene poging om relevant te blijven in het Edge-computatieparadigma met Google AI Edge.

Ik had TensorFlow Lite (samen met numpy en OpenCV) al beschikbaar gesteld via een app voor educatieve doeleinden in de PLCnext Store (link naar de app). De app beperkt gebruikers echter tot het gebruik van de voorgepakte oplossing, zelfs als ze iets heel anders willen proberen of andere bibliotheken willen toevoegen.

Omdat ik de app recentelijk bijwerkte en mijn geheugen moest verfrissen over hoe dat zit, besloot ik deze post te maken en uit te leggen hoe je TensorFlow Lite Runtime cross-compileert voor de AXC F 2152.

Het draaiende proces in de laatste stap kan vrij ingewikkeld lijken, omdat de publiek beschikbare bibliotheken geen directe ondersteuning bieden voor de processorarchitectuur van de AXC F 2152 en cross-compilatie daarom noodzakelijk is.

LET OP: Deze procedure is getest op:

• Een gevirtualiseerde UBUNTU 22.04-terminal.
• De virtuele machine heeft 27 GB RAM en een swap-bestand van 16 GB RAM [Zeer relevant voor het cross-compilatieproces] en draait met 24 cores.
• Een hostmachine met 32 GB RAM en een Core i7-12850HX-processor.

LET OP 2: De hoeveelheid RAM zorgt ervoor dat de cross-compilatie stabiel blijft en zo snel mogelijk draait. Een setup met minder RAM kan het cross-compilatieproces mogelijk niet draaien of het kan te lang duren (tot enkele uren in mijn eigen ervaring).

1. Download de broncode van TensorFlow van de versie die je wilt compileren. https://github.com/tensorflow/tensorflow/releases/
2. Pak de inhoud uit naar een map naar keuze. Ik zal "myfolder" gebruiken in de volgende vermeldingen.
3. Navigeer naar "Makefile" in "/myfolder/tensorflow-2.XX.0/tensorflow/lite/tools/pip_package/Makefile" en pas de base image, Python-versie en numpy-versie aan zodat ze overeenkomen met die van je systeem. Bijv.:

4. Navigeer naar "downloadtoolchains.sh" in "/myfolder/tensorflow-2.XX.0/tensorflow/lite/tools/cmake/download_toolchains.sh" en pas de vlaggen die standaard voor armhf komen aan zoals hier getoond:

5. Vanuit de TensorFlow-map (/myfolder/tensorflow-2.XX.0), voer het commando uit: "make -C tensorflow/lite/tools/pip_package docker-build \ TENSORFLOW_TARGET=armhf PYTHON_VERSION=3.10"

6. WAARSCHUWING: Het proces van de vorige stap kan veel tijd kosten, wees geduldig.

7. Na afloop van het proces, haal de Python wheel op uit "tensorflow-2.XX.0/tensorflow/lite/tools/pip_package/gen/tflite_pip/python3.10/dist" en kopieer deze naar je controller om het met pip te installeren.

OPMERKING: In mijn ervaring werkt het proces voor Python 3.9, 3.10 en 3.11 en voor releases 2.14 tot 2.16.2. Releases boven versie 2.17 hebben echter een bug. Ik heb een open issue in de TensorFlow GitHub-repository die hier gevolgd kan worden. Ik hoop dat het in toekomstige releases opgelost wordt.

Let op:

De Makers Blog toont toepassingen en gebruikersverhalen van community-leden die niet getest of beoordeeld zijn door Phoenix Contact. Gebruik ze op eigen risico.