Voiture autonome Donkey Car : IA TensorFlow MobileNetV2 pour collecte de déchets

Présentation du projet

Ce guide montre comment transformer une voiture RC standard (Raspberry Pi + Caméra Pi) en un collecteur de déchets autonome. La solution repose sur deux réseaux de neurones légers : un pour la détection d'objets en temps réel et un autre pour le contrôle de direction et d'accélération. Comme la RAM et le CPU limités du Pi 3 ne peuvent exécuter qu'un seul modèle à la fois, nous alternons entre détection et conduite de manière temporelle.

L'idée centrale est d'entraîner un modèle à reconnaître les poubelles puis de piloter la voiture vers elles pour ramasser les déchets de manière autonome.

Introduction

MobileNetV2, publié en 2019, est conçu pour les appareils embarqués. Le CPU du Raspberry Pi 3 peut exécuter confortablement MobileNetV2 SSD, contrairement aux variantes YOLO plus lourdes qui demandent une RAM excessive.

Tenter d'exécuter VGG16 (≈350 Mo de poids) a échoué sur le Pi, soulignant le besoin de modèles plus légers. L'apprentissage par transfert avec un MobileNetV2 SSD pré-entraîné offre une haute précision avec une empreinte minimale.

Modifications matérielles

Le véhicule de base est une voiture RC Magnet, que nous rétrofittons en châssis DonkeyCar. Changements clés :

• Démontage du couvercle supérieur pour accéder au récepteur, ESC et servo.
• Installation de deux adaptateurs imprimés en 3D pour remplacer les clips d'origine.
• Montage du Raspberry Pi et d'un contrôleur de servo dédié sur une plaque en bois.
• Connexion du contrôleur de servo à la direction (canal 0) et à l'accélération (canal 1) via I²C.
• Ajout d'un IMU 6-DOF MPU6050, d'un module GPS et d'un capteur ultrasonique HC-SR04 (nécessite un décalage de niveau 5 V).

Le véhicule fini inclut maintenant :

• Caméra Pi grand angle monoculaire
• Contrôleur de servo pour la direction
• IMU 6-DOF pour données d'accélération et gyroscopiques
• GPS pour positionnement extérieur
• Capteur de distance ultrasonique pour évitement d'obstacles

Toutes les données des capteurs sont horodatées et journalisées via le framework tub pour augmenter les jeux de données d'entraînement.

Configuration logicielle

La pile logicielle est minimale mais puissante : TensorFlow, OpenCV et quelques utilitaires Python. Voici un guide d'installation étape par étape.

1. Installer TensorFlow, OpenCV et dépendances

pip install tensorflow[pi]
pip install matplotlib raspberry
sudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install qt4-dev-tools
pip3 install opencv-python

TensorFlow nécessite son propre format de modèle ; nous utilisons donc le dépôt modèles TensorFlow officiel et définissons PYTHONPATH en conséquence :

git clone --recurse-submodules https://github.com/tensorflow/models.git
export PYTHONPATH=$PYTHONPATH:/home/pi/tensorflow1/models/research:/home/pi/tensorflow1/models/research/slim

2. Installer le compilateur Protocol Buffers

ProtoBuf est nécessaire pour charger les poids MobileNetV2 SSD.

sudo apt-get install autoconf automake libtool curl
wget https://github.com/google/protobuf/releases/download/v3.5.1/protobuf-all-3.5.1.tar.gz
tar -zxvf protobuf-all-3.5.1.tar.gz
cd protobuf-3.5.1
./configure
make
make check
sudo make install
cd python_export
python3 setup.py build --cpp_implementation
python3 setup.py test --cpp_implementations
sudo python3 setup.py install --cpp_implementation
export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp
export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION_VERSION=3
sudo ldconfig
protoc --version

3. Intégrer IMU et GPS

Ajoutez le MPU6050 au meta.json et aux scripts manage.py pour capturer les données d'accélération et gyroscopiques :

{
  "inputs": ["cam/image_array", "user/angle", "user/throttle", "user/mode",
             "imu/acl_x", "imu/acl_y", "imu/acl_z", "imu/gyr_x", "imu/gyr_y", "imu/gyr_z"],
  "types": ["image_array", "float", "float", "str", "float", "float", "float", "float", "float", "float"]
}

Installez les bibliothèques Python requises :

sudo apt-get install python3-smbus
pip install mpu6050-raspberrypi
pip install RPi.GPIO

4. Étapes finales

Après l'installation de toutes les dépendances, désactivez tout environnement virtuel et redémarrez le Pi :

deactivate
sudo shutdown -h now

La voiture est maintenant prête à exécuter le SSD MobileNetV2 pour la détection d'objets et le modèle de clonage comportemental pour la conduite autonome.

Conclusion

En combinant des réseaux de neurones légers avec une intégration robuste de capteurs, un Raspberry Pi 3 peut détecter et collecter fiablement les poubelles, ouvrant la voie à des solutions de collecte de déchets autonomes, évolutives et à faible coût.