Renesas et Syntiant proposent une solution conjointe d'IA de vision à commande vocale

Renesas Electronics Corporation et Syntiant Corp., un fournisseur de traitement intelligent de la voix et des capteurs à faible consommation dans les appareils périphériques, ont développé conjointement une solution d'intelligence artificielle (IA) multimodale à commande vocale pour permettre un fonctionnement sans contact à faible consommation pour le traitement d'images dans la vision embarquée. Internet des objets (IoT) et systèmes de périphérie basés sur l'IA.

La nouvelle solution combine l'unité de microprocesseur (MPU) de vision AI série Renesas RZ/V et le processeur de décision neuronal Syntiant NDP120 multimodal à faible consommation pour offrir des capacités avancées de traitement de la voix et de l'image dans des applications telles que les caisses automatiques, les caméras de sécurité, la vidéo les systèmes de conférence et les appareils intelligents tels que les appareils de nettoyage robotisés.

La solution commune comprend une fonctionnalité toujours active avec une activation rapide à déclenchement vocal à partir du mode veille pour effectuer la reconnaissance d'objets, la reconnaissance faciale et d'autres tâches basées sur la vision qui sont des fonctions essentielles des caméras de sécurité et d'autres systèmes. Par exemple, tandis que les signaux vocaux définis par l'utilisateur entraînent l'activation et le fonctionnement du système, la reconnaissance de l'IA par vision suit le comportement de l'opérateur et contrôle le fonctionnement ou émet un avertissement lorsque des actions suspectes sont détectées.

L'architecture multimodale facilite la création d'expériences utilisateur sans contact pour les systèmes basés sur l'IA de vision. L'utilisation d'une puce dédiée et économe en énergie pour la reconnaissance vocale réduit la consommation d'énergie en mode veille tout en accélérant le développement du système, car il est possible de développer des logiciels indépendamment de la fonctionnalité Vision AI.

Le MPU de la série Renesas RZ/V intègre l'accélérateur DRP-AI (processeur IA reconfigurable dynamiquement) de Renesas et combine une inférence IA de haute précision avec une efficacité énergétique qui, selon Renesas, est parmi les meilleures du secteur. Cette performance énergétique supérieure élimine le besoin de mesures de dispersion de la chaleur telles que des dissipateurs thermiques ou des ventilateurs de refroidissement, ce qui réduit le coût de la nomenclature et permet d'intégrer l'IA de vision dans une large gamme d'applications embarquées. DRP-AI est composé d'AI-MAC et de DRP (processeur reconfigurable dynamiquement), qui peuvent traiter efficacement les opérations dans les couches convolutives et combinées en optimisant le flux de données avec des commutateurs internes. Le DRP peut traiter des traitements complexes tels que le prétraitement d'images et les couches de regroupement de modèles d'IA de manière flexible et rapide en modifiant dynamiquement la configuration matérielle. Le traducteur DRP-AI fourni attribue automatiquement chaque processus du modèle AI à l'AI-MAC et au DRP, permettant ainsi à l'utilisateur d'utiliser facilement DRP-AI sans connaître le matériel. Plusieurs exécutables générés par le traducteur DRP-AI peuvent être placés dans une mémoire externe. Cela permet de basculer dynamiquement entre plusieurs modèles d'IA en tant que système. De plus, le traducteur DRP-AI peut être mis à jour en permanence pour prendre en charge les modèles d'IA nouvellement développés sans modifications matérielles.

La puce Syntiant NDP120 intègre des capacités d'IA sophistiquées qui peuvent être utilisées pour mettre en œuvre de nombreuses fonctions vocales mains libres de haute précision, notamment la reconnaissance du locuteur, la détection de mots clés, plusieurs mots de réveil et la reconnaissance de commandes locales. Emballé avec le moteur d'inférence de réseau neuronal Syntiant Core 2, le NDP120 peut également exécuter plusieurs applications simultanément tout en minimisant la consommation d'énergie à 1 mW de puissance de batterie.

S'exprimant au nom de Renesas, Hiroto Nitta a déclaré :« Nous prévoyons que la demande de systèmes multimodaux qui utilisent plusieurs flux d'informations d'entrée - à la fois image et voix - augmentera à l'avenir comme moyen d'améliorer à la fois la facilité d'utilisation et la sécurité. » Nitta, vice-président senior et responsable de l'activité SoC dans l'unité commerciale IoT et infrastructure, a ajouté :accélérer l'adoption de la technologie d'intelligence artificielle intelligente à faible consommation et ultra-petite dans les systèmes embarqués et proposer de nouvelles solutions combinées aux clients du monde entier. »

Le PDG de Syntiant, Kurt Busch, a déclaré :« Les interfaces utilisateur vocales permettront aux clients de proposer de nouvelles expériences utilisateur qui feront passer la prochaine génération d'idées innovantes du concept à la réalité. Nous avons déjà expédié plus de 15 millions de nos NDP d'apprentissage en profondeur dans le monde pour permettre une voix toujours active dans une grande variété d'applications IoT grand public et industrielles. Notre collaboration avec Renesas fournit une solution voix et image puissante et à faible consommation d'énergie qui accélérera certainement la traction parmi une clientèle mondiale dans une variété d'appareils et de cas d'utilisation. »

La nouvelle solution d'IA multimodale à commande vocale utilise plusieurs appareils compatibles entre eux du portefeuille Renesas plus large pour fournir aux clients une plate-forme de prototypage élevée pour une mise sur le marché plus rapide et un risque réduit. La nouvelle solution fait partie des « combinaisons gagnantes » de Renesas, qui proposent des combinaisons de produits analogiques, de puissance et de traitement intégrés convaincants qui aident les clients à accélérer leurs conceptions et à commercialiser plus rapidement.

La conception de référence de la nouvelle solution d'IA multimodale est désormais disponible, y compris les schémas de circuits et les listes de nomenclatures.