SONBI ROBOT MENSELIJKE DETECTIE MET KINECT EN RASPBERRY PI

A. DOELSTELLING

Om het softwaresysteem van de raspberry pi in Sonbi te bouwen en de Microsoft Kinect te integreren in de Raspberry pi en het interactief te maken met de Sonbi-robot op een manier waarop mensen voor Kinect staan. de Sonbi-robot zwaait met zijn armen naar de mensen.

B. HARDWARESYSTEEM

Sonbi heeft de volgende basishardware-items in zijn
borstchassis gemonteerd:
• Raspberry Pi met 8GB Flash
• Pololu Maestro 24
• Microsoft Kinect
• ATX 500 Watt PS
• Diverse onderdelen (protoborden, draad, mechanisch)

Raspberry pi:

• 700 MHz ARM1176JZF-S kernprocessor
• 512 MB SDRAM
• Voeding via microUSB (5V)
• Ethernet, HDMI en 2 USB-poorten voor randapparatuur
• Raspbian OS
• Veel gebruikt, veel documentatie!

Pololu maestro 24

• 24 kanalen
• Pulsfrequentie tot 333 Hz
• Scriptgrootte tot 8 KB
• Tot 1,5 ampère per kanaal
• 2 stroomopties USB/voedingsheader
• Scripting of native API-ondersteuning

Raspberry pi en Pololu-interface

• Eenvoudige bedrading
– Voeding, Gnd, Tx-Rx en Rx-Tx
• TTL seriële poort
– Standaard gebruikt Pi de seriële poort voor console-invoer/-uitvoer
– Bewerk /etc/inittab en /boot/cmdline.txt om de standaard
en vrije seriële poort voor gebruik te wijzigen
• Geweldige tutorial op:
http://shahmirj.com/blog /raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Een RGB-camera die driekanaalsgegevens opslaat in een resolutie van 1280×960
. Dit maakt het vastleggen van een kleurenbeeld mogelijk.
• Een infrarood (IR) zender en een IR dieptesensor. De zender
zendt infrarode lichtstralen uit en de dieptesensor leest de IR
stralen die worden teruggekaatst naar de sensor. De gereflecteerde stralen
worden omgezet in diepte-informatie die de afstand meet
tussen een object en de sensor. Dit maakt het vastleggen van een
dieptebeeld mogelijk.
• Een multi-array microfoon, die vier microfoons bevat
voor het vastleggen van geluid. Omdat er vier microfoons zijn, is het
mogelijk om audio op te nemen en de locatie van de geluidsbron en de richting van de audiogolf te vinden.
• Een 3-assige accelerometer geconfigureerd voor een 2G-bereik, waarbij G
de versnelling door de zwaartekracht is. Het is mogelijk om de
versnellingsmeter te gebruiken om de huidige oriëntatie van de
Kinect

Verticale kantelhoek:27 graden
• Framesnelheid:30 fps

C.INTEGREREN VAN DE KINECT MET RASPBERRY PI

Hier volgen de stappen die zijn genomen om de Kinect te integreren met
Raspberry Pi.

De Microsoft Kinect en zijn sensorstuurprogramma's aansluiten op de Raspberry Pi:

Dit proces is een van de vervelende onderdelen van het project, aangezien men zich ervan bewust moet zijn dat Kinect op Windows werkt en om het op een Unix-besturingssysteem te laten werken, moeten we alle bijbehorende bibliotheken en stuurprogramma's handmatig installeren. moeilijk en kost veel manuren om de problemen op te lossen. De genomen stappen en bibliotheken en lijst met geïnstalleerde pakketten worden gegeven in de sectie softwaresystemen bouwen.

De volledige mogelijkheden van Kinect gebruiken:

Om alle functies van Kinect zoals dieptesensoren, IR-sensor, microfoon en motoren te gebruiken om de camera te kantelen, hebben we bibliotheken nodig die dit kunnen. De RPI heeft standaard OpenCV en Open GL/GLES erop gemonteerd, maar deze ondersteunen (zeer binnenkort) dieptesensoren en motoren nog niet, dus we moeten een OpenNI- of Libfreenect-pakket installeren. Een van beide is genoeg, maar ik heb besloten om beide te installeren. Om te testen en te begrijpen, kunt u voorbeeldprogramma's uitvoeren, die beschikbaar zijn in de OpenNI- en Libfreenect-mappen. Ik heb al voldaan en de binaire bestanden gebouwd. Je kunt het uitvoeren door naar de map "bin" te gaan en de voorbeelden uit te voeren met
./"sample-programma."

D. BOUWSOFTWARESYSTEEM

Libfreenect:
Libfreenect is een userspace-stuurprogramma voor de Microsoft Kinect. Het draait op
Linux-ondersteuning
• RGB- en diepte-afbeeldingen
• Motoren
• Versnellingsmeter
• LED
Audio is een werk in uitvoering
Om libfreenect te bouwen, heb je
• libusb>=1.0.13
• CMake>=2.6
• python ==2.* nodig (alleen als BUILD_AUDIO of BUILD_PYTHON)
Voor de voorbeelden heb je
• OpenGL (meegeleverd met OSX)
• glut (meegeleverd met OSX)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # als je geen make hebt of wil geen kleuruitvoer #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $USER video sudo adduser $USER plugdev # nodig? # alleen als je
de voorbeelden maakt:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Wrappers:

Interfaces naar verschillende talen worden geleverd in wrappers/. Wrappers
zijn niet gegarandeerd API-stabiel of up-to-date.
• C (met behulp van een synchrone API)
• C++
• C#
• python
• robijn
• actionscript
• Java (JNA)

OpenNI:

Vereisten:
1) GCC 4.x
Van:http://gcc.gnu.org/releases.html
Of via apt:sudo apt-get install g++
2) Python 2.6+/3.x
Van:http://www.python.org/download/
Of via apt:sudo apt-get install python
3) LibUSB 1.0.x
Van:http://sourceforge.net/projects/libusb/files/libusb-1.0/
Of via apt:sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
Van:http://freeglut.sourceforge.net/index.php#download
Of via apt:sudo apt-get install freeglut3-dev
5) JDK 6.0
Van:
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Of via apt:sudo add-apt-repository “ deb

Optionele vereisten (om de documentatie te bouwen):
1) Doxygen
Van:
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
Of via apt:sudo apt-get install doxygen
2) GraphViz
Van:http://www.graphviz.org/Download_linux_ubuntu.php
Of via apt:sudo apt-get install graphviz

OpenNI bouwen:

1) Ga naar de directory:“Platform/Linux/CreateRedist”.
Voer het script uit:“./RedistMaker”.
Dit zal alles compileren en een redist-pakket maken in de
/>“Platform/Linux/Redist” map. Het zal ook een distributie maken in
de map "Platform/Linux/CreateRedist/Final".
2) Ga naar de map:"Platform/Linux/Redist".
Voer het script uit:“sudo ./install.sh” (moet als root worden uitgevoerd)
Het installatiescript kopieert sleutelbestanden naar de volgende locatie:
Libs in:/usr/lib
Bins in:/usr /bin
Opgenomen in:/usr/include/ni
Config-bestanden in:/var/lib/ni
Als u de Mono-wrappers wilt bouwen, voert u ook “make
uit mono_wrapper" en "make mono_samples"

E. PERSOONSDETECTIE EN ACTIE VAN SONBI:

De Raspberry PI voert een programma uit bootscript_sonbi.sh
De "bootscript_sonbi.sh" voert het commando "python facetect.py
–cascade=face.xml 0" uit
Je hebt nodig om dit getrainde gezichtsbestand te downloaden:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
facetect.py voert het gezichtsherkenningsalgoritme uit en activeert de
“Sonbi” uitvoerbaar. Het Sonbi binaire bestand is verantwoordelijk voor het in werking stellen van de
servomotoren. Het stroomschema van het proces staat hieronder.

Bron:SONBI ROBOT MENSELIJKE DETECTIE MET KINECT EN RASPBERRY PI