Utiliser des DSP pour l'IA audio à la périphérie

Autrefois confiné aux serveurs cloud avec des ressources pratiquement infinies, l'apprentissage automatique se déplace vers les appareils de périphérie pour diverses raisons, notamment une latence plus faible, des coûts réduits, une efficacité énergétique et une confidentialité accrue. Le temps nécessaire pour envoyer des données au cloud pour interprétation pourrait être prohibitif, comme la reconnaissance des piétons dans une voiture autonome. La bande passante nécessaire pour envoyer des données vers le cloud peut être coûteuse, sans parler du coût du service cloud lui-même, comme la reconnaissance vocale pour les commandes vocales.

L'énergie est un compromis entre l'envoi de données vers le serveur et le traitement localisé. Les calculs d'apprentissage automatique sont complexes et pourraient facilement vider la batterie d'un périphérique périphérique s'ils ne sont pas exécutés efficacement. Les décisions Edge conservent également les données sur l'appareil, ce qui est important pour la confidentialité des utilisateurs, comme les e-mails sensibles dictés par la voix sur un smartphone. Audio AI est un riche exemple d'inférence à la périphérie ; et un nouveau type de processeur de signal numérique (DSP) spécialisé dans les cas d'utilisation d'apprentissage automatique audio peut permettre de meilleures performances et de nouvelles fonctionnalités à la périphérie du réseau.

Le réveil vocal permanent est l'un des premiers exemples d'apprentissage automatique à la périphérie :écouter un mot-clé tel que « Hey Siri » ou « OK Google » avant de réveiller le reste du système pour déterminer l'action suivante. Si cette détection de mot clé était exécutée sur un processeur d'application générique, elle pourrait prendre bien plus de 100 mW. Au cours d'une journée, cela épuiserait la batterie du smartphone. Par conséquent, les premiers téléphones à implémenter cette fonctionnalité avaient des algorithmes portés sur un petit DSP pouvant fonctionner à moins de 5 mW. De nos jours, ces mêmes algorithmes peuvent fonctionner sur un DSP audio et d'apprentissage automatique spécialisé dans un microphone intelligent à moins de 0,5 mW.

Une fois qu'un appareil périphérique est activé pour l'apprentissage automatique audio permanent, il peut faire plus que la reconnaissance vocale à faible puissance :connaissance contextuelle, par exemple si l'appareil se trouve dans un restaurant bondé ou dans une rue animée, reconnaissance de la musique d'ambiance, reconnaissance de pièce par ultrasons, et même reconnaître si quelqu'un à proximité crie ou rit. Ces types de fonctionnalités permettront de nouveaux cas d'utilisation sophistiqués qui pourraient améliorer l'appareil périphérique et profiter à l'utilisateur.

Les meilleures performances et efficacité énergétique pour l'inférence de machine learning à la périphérie nécessitent une personnalisation matérielle poussée. Certaines des techniques les plus efficaces sont rassemblées dans le tableau 1. La mise en œuvre de ces fonctionnalités améliorera l'efficacité de l'inférence de machine learning à la périphérie.

La majorité des opérations arithmétiques nécessaires à l'inférence de réseau de neurones sont des multiplications matrice-vecteur. En effet, les modèles d'apprentissage automatique sont généralement représentés sous forme de matrices, qui sont appliquées à de nouveaux stimulants représentés sous forme de vecteurs. La technique la plus courante pour améliorer l'inférence de l'apprentissage automatique de bord consiste à rendre la multiplication matrice-vecteur très efficace. Une multiplication fusionnée suivie d'une accumulation (MAC) est un moyen courant de résoudre ce problème.

Tableau

Bien que la phase d'apprentissage soit sensible à la précision numérique, la phase d'inférence peut atteindre des résultats presque équivalents avec une faible précision (par exemple 8 bits). Limiter la précision peut réduire considérablement la complexité du calcul des arêtes. Pour cette raison, les sociétés de processeurs telles qu'Intel et Texas Instruments ont ajouté des MAC de précision limitée. Le TMS320C6745 de Texas Instruments peut exécuter 8 MAC de 8 bits chacun par cycle. De plus, le DSP audio de Knowles prend en charge 16 MACS de 8 bits chacun par cycle.

Les phases d'apprentissage et d'inférence mettent la pression sur le sous-système de mémoire. La prise en charge par le processeur des grandes largeurs de mots est souvent améliorée pour s'adapter à cela. Les processeurs hautes performances les plus récents d'Intel ont AVX-512 qui prend en charge le transfert de 512 bits par cycle dans un tableau de 64 multiplicateurs. Le Texas Instruments 6745 utilise un bus 64 bits pour augmenter la bande passante mémoire. Les processeurs audio avancés de Knowles utilisent un bus 128 bits, créant un bon équilibre entre une grande surface de puce et une bande passante élevée. De plus, les architectures d'apprentissage automatique audio (telles que RNN ou LSTM) nécessitent souvent un retour d'information. Cela impose des exigences supplémentaires sur l'architecture de la puce, car la dépendance aux données peut bloquer les architectures fortement pipeline.

Bien que l'apprentissage automatique traditionnel puisse fonctionner avec des données brutes, les algorithmes d'apprentissage automatique audio effectuent généralement une analyse spectrale et une extraction de caractéristiques pour alimenter les réseaux de neurones. L'accélération des fonctions traditionnelles de traitement du signal telles que les FFT, les filtres audio, les fonctions trigonométriques et les logarithmes sont nécessaires pour l'efficacité énergétique. Les opérations suivantes utilisent souvent une variété d'opérations vectorielles non linéaires, telles qu'un sigmoïde, implémenté comme une tangente hyperbolique ou une unité linéaire rectifiée (fonction de valeur absolue avec tous les nombres négatifs modifiés à zéro). Ces opérations non linéaires sophistiquées nécessitent de nombreux cycles sur les processeurs traditionnels. Les instructions à cycle unique pour ces fonctions améliorent également l'efficacité énergétique des DSP audio d'apprentissage automatique.

En résumé, les processeurs avancés spécialisés à la fois pour l'apprentissage automatique et le traitement audio permettent une inférence en temps réel toujours active à faible coût tout en préservant simultanément la confidentialité. La consommation d'énergie est maintenue faible grâce à des décisions architecturales sur la prise en charge du jeu d'instructions pour permettre plusieurs opérations par cycle et des bus mémoire plus larges pour maintenir des performances élevées à faible consommation. Alors que les entreprises continuent d'innover sur le calcul spécialisé à la périphérie, les cas d'utilisation de l'apprentissage automatique qui l'utilisent ne feront qu'augmenter.

Jim Steele est vice-président de la stratégie technologique chez Knowles Corp.

>> Cet article a été initialement publié le notre site partenaire, EE Times :« Apprentissage automatique sur les DSP : Enabling Audio AI at the Edge. »