Aya : Assistant robotique interactif primé propulsé par AWS

Aya est un robot interactif primé qui utilise AWS Rekognition pour reconnaître les visages et identifier les objets, offrant des réponses vocales naturelles via Amazon Polly.

Histoire

Inspiration

En voyant Alexa d'Amazon et Google Home, nous avons imaginé un assistant personnel véritablement humain. Aya est notre preuve de concept qui allie apparence humaine et IA avancée.

Ce qu'elle fait

Aya mémorise la photo d'un utilisateur pour le reconnaître et peut identifier l'objet placé devant elle, communiquant le résultat par la parole.

Comment nous l'avons construite

La construction d'Aya a nécessité un système embarqué complexe : les contrôles des servos s'exécutaient sur des threads distincts du codec audio pour permettre la parole et le mouvement de la mâchoire simultanés. Nous avons imprimé en 3D le châssis — un design open-source InMoov — en 26 heures lors du Hack the North 2017. Le système repose sur AWS Rekognition pour la comparaison faciale, Amazon Polly pour la synthèse vocale, et un thread parallèle pour l'actionnement des servos en temps réel.

Défis

Les obstacles matériels allaient de fils fondus et breadboards grillés à la surchauffe des servos et aux problèmes de tolérance. La synchronisation du contrôle des servos avec la parole a exigé un multithreading soigné. Côté logiciel, le choix de l'étiquette la plus pertinente dans le tableau de confiance de Rekognition s'est avéré délicat ; nous avons exploré le clustering k-means mais les contraintes de temps ont limité l'implémentation complète. Tout réaliser en 36 heures de hackathon, avec un repos minimal, nous a forcés à rester agiles et concentrés.

Réalisations dont nous sommes fiers

Nous avons réussi à intégrer le système de servos à la pile logicielle et maintenu une excellente collaboration d'équipe tout au long de l'événement, aboutissant à un produit final abouti.

Prochaines étapes pour Aya

Les travaux futurs incluent l'application de TensorFlow pour regrouper les sorties de Rekognition et l'utilisation de pyAudioAnalysis pour synchroniser plus précisément les formes d'onde audio avec le mouvement des servos.

En savoir plus…

Aya