DÉTECTION HUMAINE DU ROBOT SONBI À L'AIDE DE KINECT ET DE RASPBERRY PI

A. OBJECTIF

Pour construire le système logiciel du raspberry pi à l'intérieur de Sonbi et
intégrer le Microsoft Kinect sur Raspberry pi et le rendre
interactif avec le robot Sonbi d'une manière lorsque les gens se tiennent devant
Kinect, le robot Sonbi agite ses bras vers les gens.

B. SYSTÈME MATÉRIEL

Sonbi a les éléments matériels de base suivants montés à l'intérieur de son
châssis de poitrine :
• Raspberry Pi avec 8 Go de mémoire Flash
• Pololu Maestro 24
• Microsoft Kinect
• PS ATX 500 watts
• Pièces diverses (cartes proto, fil, mécanique)

Framboise pi :

• Processeur central ARM1176JZF-S 700 MHz
• SDRAM 512 Mo
• Alimentation via microUSB (5 V)
• Ethernet, HDMI et 2 ports USB pour périphériques
• Système d'exploitation Raspbian
• Largement utilisé, beaucoup de documentation !

Pololu maestro 24

• 24 canaux
• Fréquence d'impulsion jusqu'à 333 Hz
• Taille du script jusqu'à 8 Ko
• Jusqu'à 1,5 A par canal
• 2 options d'alimentation USB/embase d'alimentation
• Prise en charge des scripts ou de l'API native

Interface Raspberry pi et Pololu

• Câblage simple
– Alimentation, Gnd, Tx-Rx et Rx-Tx
• Port série TTL
– Par défaut, Pi utilise le port série pour l'entrée/sortie de la console
– Modifiez /etc/inittab et /boot/cmdline.txt pour modifier la valeur par défaut
et le port série gratuit à utiliser
• Excellent tutoriel sur :
http://shahmirj.com/blog /raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect :
• Une caméra RVB qui stocke les données sur trois canaux dans une résolution de 1280×960
. Cela permet de capturer une image couleur.
• Un émetteur infrarouge (IR) et un capteur de profondeur IR. L'émetteur
émet des faisceaux de lumière infrarouge et le capteur de profondeur lit les
faisceaux IR réfléchis vers le capteur. Les faisceaux réfléchis sont
convertis en informations de profondeur mesurant la distance
entre un objet et le capteur. Cela permet de capturer une
image en profondeur.
• Un microphone multi-réseau, qui contient quatre microphones
pour capturer le son. Puisqu'il y a quatre microphones, il est
possible d'enregistrer l'audio ainsi que de trouver l'emplacement de la
source sonore et la direction de l'onde audio.
• Un accéléromètre à 3 axes configuré pour une plage de 2G, où G est
l'accélération due à la gravité. Il est possible d'utiliser l'
accéléromètre pour déterminer l'orientation actuelle du
Kinect

Angle d'inclinaison vertical :27 deg
• Fréquence d'images :30 ips

C.INTÉGRATION DU KINECT AVEC RASPBERRY PI

Ce qui suit sont les étapes suivies pour intégrer le Kinect avec
Raspberry Pi.

Connecter le Microsoft Kinect et ses pilotes de capteurs sur le raspberry pi :

Ce processus est l'une des parties fastidieuses du projet, car il faut être conscient que Kinect fonctionne sur Windows et pour le faire fonctionner sur un système d'exploitation basé sur Unix, nous devons installer manuellement toutes les bibliothèques et pilotes qui lui sont associés, ce qui est dur et prend beaucoup d'heures de travail pour résoudre les problèmes. Les étapes suivies, les bibliothèques et la liste des packages installés sont indiqués dans la section relative à la création de systèmes logiciels.

Utilisation de la pleine capacité de Kinect :

Pour utiliser toutes les fonctionnalités de Kinect telles que les capteurs de profondeur, le capteur IR, le micro et les moteurs pour incliner la caméra, nous avons besoin de bibliothèques capables de le faire. Le RPI a par défaut OpenCV et Open GL/GLES montés dessus, mais ceux-ci ne prennent pas encore en charge (très bientôt) les capteurs de profondeur et les moteurs, nous avons donc besoin du package OpenNI ou Libfreenect pour être installé. L'un ou l'autre est suffisant mais j'ai décidé d'installer les deux. Pour tester et comprendre, vous pouvez exécuter des exemples de programmes, qui sont disponibles dans les dossiers OpenNI et Libfreenect. J'ai déjà respecté et construit les binaires. On peut l'exécuter simplement dans le dossier "bin" et en exécutant les échantillons par
./"exemple de programme."

D. SYSTÈME LOGICIEL DE CONSTRUCTION

Libfreenect :
Libfreenect est un pilote d'espace utilisateur pour Microsoft Kinect. Il fonctionne sur
Linux prend en charge
• RVB et images de profondeur
• Moteurs
• Accéléromètre
• LED
L'audio est un travail en cours
Pour compiler libfreenect, vous aurez besoin de
• libusb>=1.0.13
• CMake>=2.6
• python ==2.* (uniquement si BUILD_AUDIO ou BUILD_PYTHON)
Pour les exemples, vous aurez besoin de
• OpenGL (inclus avec OSX)
• glut (inclus avec OSX)
• pthreads-win32 (Windows)
git clone https :/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # si vous n'avez pas make ou ne voulez pas de sortie couleur #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $USER video sudo adduser $USER plugdev # nécessaire ? # uniquement si vous
construisez les exemples :sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Emballages :

Les interfaces vers différentes langues sont fournies dans des wrappers/. Les wrappers
ne sont pas garantis comme étant stables ou à jour dans l'API.
• C (utilisant une API synchrone)
• C++
• C#
• python
• ruby
• actionscript
• Java (JNA)

OpenNI :

Exigences :
1) GCC 4.x
Depuis :http://gcc.gnu.org/releases.html
Ou via apt :sudo apt-get install g++
2) Python 2.6+/3.x
De :http://www.python.org/download/
Ou via apt :sudo apt-get install python
3) LibUSB 1.0.x
De :http://sourceforge.net/projects/libusb/files/libusb-1.0/
Ou via apt :sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
De :http://freeglut.sourceforge.net/index.php#download
Ou via apt :sudo apt-get install freeglut3-dev
5) JDK 6.0
De :
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Ou via apt :sudo add-apt-repository " deb

Exigences facultatives (pour créer la documentation) :
1) Doxygen
De :
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
Ou via apt :sudo apt-get install doxygen
2) GraphViz
Depuis :http://www.graphviz.org/Download_linux_ubuntu.php
Ou via apt :sudo apt-get install graphviz

Construire OpenNI :

1) Allez dans le répertoire :"Platform/Linux/CreateRedist".
Exécutez le script :"./RedistMaker".
Cela va tout compiler et créer un package de redist dans le
/>Répertoire « Platform/Linux/Redist ». Il créera également une distribution dans
le répertoire « Platform/Linux/CreateRedist/Final ».
2) Allez dans le répertoire : « Platform/Linux/Redist ».
Exécutez le script :"sudo ./install.sh" (doit être exécuté en tant que root)
Le script d'installation copie les fichiers clés à l'emplacement suivant :
Libs dans :/usr/lib
Bins dans :/usr /bin
Inclut dans :/usr/include/ni
Les fichiers de configuration dans :/var/lib/ni
Si vous souhaitez construire les wrappers Mono, exécutez également « make
mono_wrapper" et "faire des mono_samples"

E. DÉTECTION DE PERSONNE ET ACTION DE SONBI :

Le Raspberry PI exécute un programme bootscript_sonbi.sh
Le "bootscript_sonbi.sh" lance la commande "python facesetect.py
–cascade=face.xml 0"
Vous aurez besoin pour télécharger ce fichier de visage formé :
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
Le faceetect.py exécute l'algorithme de détection de visage et déclenche le
Exécutable « Sonbi ». Le binaire Sonbi est chargé de faire fonctionner les
servomoteurs. L'organigramme du processus est ci-dessous.

Source :DÉTECTION HUMAINE DU ROBOT SONBI À L'AIDE DE KINECT ET DE FRAMBOISE PI