Renesas et Syntiant lancent une IA vision vocale basse consommation pour systèmes IoT embarqués

Renesas Electronics Corporation et Syntiant Corp. se sont associés pour créer une plateforme IA multimodale vocale basse consommation qui délivre un traitement d'image sans contact pour les applications IoT et edge vision-IA embarquées.

L'intégration du MPU vision-IA série RZ/V de Renesas avec le processeur de décision neuronal NDP120 ultra-basse consommation de Syntiant délivre un traitement avancé vocal et image pour des cas d'usage allant des caisses en libre-service et caméras de sécurité aux systèmes de visioconférence et appareils intelligents comme les aspirateurs robots.

La solution conjointe propose un mode toujours-actif qui permet un réveil rapide déclenché par la voix depuis la veille, permettant la reconnaissance d'objets et faciale, ainsi que d'autres tâches basées sur la vision essentielles pour les caméras de sécurité et systèmes similaires. Des indices vocaux définis par l'utilisateur initient l'activation et l'opération, tandis que l'IA vision suit le comportement de l'opérateur et peut alerter les opérateurs quand une activité suspecte est détectée.

En séparant la reconnaissance vocale sur une puce dédiée et économe en énergie, l'architecture réduit la consommation en veille et accélère le développement. Les développeurs peuvent programmer les composants vocaux et vision indépendamment, simplifiant l'intégration.

Le MPU série RZ/V de Renesas incorpore l'accélérateur DRP-IA (processeur dynamiquement reconfigurable-IA), combinant inférence haute précision avec une efficacité énergétique que Renesas revendique parmi les meilleures de l'industrie. Cette performance élimine le besoin de dissipateurs ou ventilateurs, réduisant le coût de la nomenclature et permettant l'intégration vision-IA à travers une large gamme d'applications embarquées. Le DRP-IA est construit à partir de cœurs IA-MAC et DRP, qui gèrent efficacement les couches convolutives et entièrement connectées en optimisant le flux de données avec des commutateurs internes. Le DRP peut se reconfigurer dynamiquement pour traiter des tâches complexes comme le pré-traitement d'image et les couches de pooling de modèles IA rapidement. Un traducteur DRP-IA mappe automatiquement les opérations de modèle IA vers le matériel approprié, permettant aux développeurs d'utiliser le DRP-IA sans connaissance matérielle détaillée. Plusieurs exécutables peuvent résider en mémoire externe, permettant la commutation dynamique entre modèles IA à l'exécution, et le traducteur peut être mis à jour pour supporter de nouveaux modèles sans changements matériels.

La puce NDP120 de Syntiant incorpore des capacités IA sophistiquées qui supportent des fonctions vocales mains-libres de haute précision, incluant la reconnaissance de locuteur, la détection de mots-clés, multiples mots de réveil et la reconnaissance de commandes locales. Associé au moteur d'inférence réseau neuronal Syntiant Core 2, le NDP120 peut exécuter plusieurs applications simultanément tout en consommant aussi peu que 1 mW de puissance batterie.

S'exprimant pour Renesas, Hiroto Nitta, Vice-Président Senior et Responsable de l'activité SoC dans l'unité IoT et Infrastructure, a dit : « Nous anticipons que la demande pour les systèmes multimodaux utilisant plusieurs flux d'information d'entrée — à la fois image et voix — augmentera à l'avenir comme moyen d'améliorer à la fois la facilité d'utilisation et la sécurité. » Il a ajouté : « Grâce à la collaboration entre Renesas, leader en technologie IA image basse consommation, et Syntiant, leader en technologie IA vocale, nous accélérerons l'adoption de la technologie IA vocale intelligente ultra-petite et basse consommation dans les systèmes embarqués et délivrerons de nouvelles solutions combinées aux clients globalement. »

Le CEO de Syntiant, Kurt Busch, a noté : « Les interfaces utilisateur basées sur la voix rendront possible pour les clients de délivrer de nouvelles expériences utilisateur qui apportent la prochaine génération d'idées innovantes du concept à la réalité. Nous avons déjà expédié plus de 15 millions de nos NDP deep-learning globalement pour activer la voix toujours active dans une grande variété d'applications IoT grand public et industrielles. Notre collaboration avec Renesas délivre une solution puissante, basse consommation, voix et image qui est certaine d'accélérer la traction auprès d'une base client globale dans une variété de dispositifs et cas d'usage. »

La nouvelle solution IA multimodale vocale s'appuie sur plusieurs dispositifs compatibles du portefeuille plus large de Renesas, fournissant aux clients une plateforme de prototypage élevée pour un time-to-market plus rapide et un risque réduit. Comme partie des « winning combinations » de Renesas, qui associent produits analogiques, puissance et traitement embarqué convaincants, la solution aide les clients à accélérer la conception et lancer de nouveaux produits plus rapidement.

Un design de référence pour la solution IA multimodale, incluant diagrammes de circuits et listes de nomenclature, est maintenant disponible.