Aya

Aya est un robot interactif qui stocke votre image pour vous reconnaître et interagir avec vous. Gagnant de Hack the North 2017 et meilleure utilisation d'AWS.

Histoire

Inspiration

Lorsque nous avons vu ce qu'Amazon faisait avec Alexa et ce que Google faisait avec la maison, nous étions sûrs que l'ère des assistants personnels informatisés était arrivée. Cependant, nous nous sommes demandé comment les rendre plus humains. Aya est une preuve de concept pour les assistants personnels robotiques qui ont l'air et se sentent humains.

Ce qu'il fait

Aya est un robot interactif qui stocke votre photo pour vous reconnaître et vous dire quel objet vous tenez.

Comment nous l'avons construit

Aya est un cauchemar pour les systèmes embarqués ! Une interface de systèmes d'asservissement avec des codecs audio exécutés sur différents threads pour le multitraitement.

Nous avons imprimé en 3D les pièces physiques (avec l'aimable autorisation d'InMoov®, un robot open source) au cours d'un processus qui a duré plus de 26 heures. Il a été construit et assemblé à Hack the North 2017.

Aya utilise AWS Rekognition pour comparer les géométries des visages afin de reconnaître les personnes qu'elle a déjà rencontrées et de rencontrer de nouveaux humains. Nous choisissons l'objet de confiance la plus élevée qui n'est pas humain, et l'exécutons via Amazon Polly, qui génère un fichier.ogg. Pendant que tout cela se passe, un autre fil avec des servocommandes personnalisées s'exécute en parallèle pour faire bouger la mâchoire avec la parole.

Les défis que nous avons rencontrés

Les hacks matériels sont difficiles ! Nous avons rencontré mille problèmes, sans s'y limiter :la fonte des fils, les planches à pain brûlantes, la surchauffe des servos et bien sûr les tolérances des pièces !

Un autre aspect difficile du projet était la servocommande - cela nécessitait de démarrer un autre fil et d'exécuter des servocommandes en tandem avec la parole.

Du point de vue logiciel, étant donné qu'Amazon Rekognition ne génère qu'un tableau d'étiquettes et leurs niveaux de confiance, il est souvent difficile de choisir l'étiquette la plus pertinente pour une image. Nous avons tenté de résoudre ce problème en utilisant k -signifie le regroupement pour générer des groupes de mots similaires, puis générer des phrases pour chaque groupe. Cependant, comme le matériel nous prenait beaucoup de temps, nous n'avons malheureusement pas eu le temps de l'implémenter complètement.

Enfin, faire tout cela avec un budget de 36 heures (sans compter le sommeil !) était le plus grand défi de tous, mais cela nous a obligé à nous conformer à un calendrier et à rendre notre projet agile.

Des réalisations dont nous sommes fiers

Nous sommes fiers de pouvoir faire en sorte que le système d'asservissement et le logiciel s'imbriquent ensemble. Surtout, nous sommes fiers d'avoir incroyablement bien travaillé ensemble en équipe, avec peu de frictions et un rendement impressionnant.

Quelle est la prochaine étape pour Aya

Nous voulons travailler sur l'utilisation de TensorFlow pour regrouper la sortie d'AWS Rekognition, et pyAudioAnalysis pour appliquer la technique d'analyse de forme d'onde au fichier audio généré afin de mieux synchroniser le son avec l'actionnement d'asservissement.

Lire plus d'informations…

Aïe