Passer à un nouveau niveau d'IA Edge

La phase d'évolution des technologies est un lieu familier, et l'IA, la principale technologie de ces dernières années, n'est pas différente. Dans l'IA – les nouvelles générations ajoutent plus de MAC, plusieurs couches de quantification, cette fonctionnalité, cette fonctionnalité – tout pour rechercher des TOPS/Watt améliorés.

Nous avons introduit avec succès des solutions d'IA à la pointe sur divers marchés via notre plate-forme CEVA NeuPro dans cet environnement. Désormais, les utilisateurs en veulent plus, mais parfois l'évolution seule ne suffit pas.

Au début, les utilisateurs ont mis l'accent sur la facilité d'utilisation pour les aider à introduire cette nouvelle technologie d'IA à la pointe de la technologie. Mais à mesure que leur expertise dans les techniques avancées d'IA s'approfondit, ils veulent avoir accès à tous les moyens possibles de différencier leurs produits et dépasser les approches de pointe actuelles d'un ordre de grandeur. Y arriver rapidement n'est pas possible grâce à l'évolution ; des améliorations révolutionnaires sont nécessaires. Ce qu'ils veulent est passé de la facilité d'utilisation à une flexibilité algorithmique maximale avec un débit maximal et une puissance minimale.

Mesurer

TOPS/W est un bon numéro de marketing mais il est trop grossier pour être utile dans des applications réelles. Dans l'inférence visuelle par exemple, les images par seconde par watt (FPS/W) sont une métrique beaucoup plus significative. La valeur d'un bon score dans ce contexte est facile à comprendre. La détection d'un piéton ou d'une voiture devant ou d'une voiture passant par derrière nécessite une réponse rapide. Il y a peu de temps pour freiner ou s'éloigner et aucune de ces actions n'est instantanée. Un moteur d'inférence doit être capable de gérer un minimum de 100 FPS - avec la puissance la plus faible possible car ce n'est qu'un des nombreux systèmes de capteurs/IA autour de la voiture. Cela demande des fps/W beaucoup plus élevés pour une puissance compétitive.

L'opportunité de marché est incontestable. Les applications automobiles et télécoms devraient être les principaux contributeurs à cette croissance, et dans l'automobile, l'imagerie intelligente continue d'être forte. Incidemment, il en va de même de la tendance « de nombreux appareils photo » dans les téléphones mobiles. En fait, le pipeline d'imagerie de ces caméras a commencé à remplacer les algorithmes conventionnels par des réseaux neuronaux pour le débruitage, la stabilisation d'image, la super-résolution et d'autres nouvelles fonctions, le tout fonctionnant à 60 ips dans une enveloppe énergétique très limitée.

Ce qu'exige une avancée majeure

Il se passe des choses intéressantes autour de l'IA analogique et des réseaux de neurones à pics, mais les fabricants de produits ne veulent pas s'éloigner trop de ce qu'ils sont sûrs de pouvoir évoluer en volume aujourd'hui. Cette contrainte laisse encore beaucoup de potentiel pour les algorithmes, mais maintenant les constructeurs de produits veulent accéder à tous ces algorithmes avec beaucoup plus de flexibilité pour obtenir des performances maximales avec une puissance minimale.

La liste des possibilités d'optimisation est longue :une large gamme d'options de quantification, la prise en charge de winograd, l'optimisation de la parcimonie pour ignorer les multiplications par zéro, la diversité des types de données dans l'activation et les poids sur une gamme de tailles de bits, la capacité de traitement vectoriel en parallèle avec les multiplicateurs neuronaux, compression des données pour réduire le temps de chargement des pondérations et des activations, prise en charge de la décomposition matricielle, offrant une accélération jusqu'à 50:1 sur un réseau de référence, et architectures NN de nouvelle génération, comme les transformateurs et la prise en charge de la convolution 3D.

Un appel à l'action

Les constructeurs de produits, maintenant plus expérimentés en IA, savent ce qu'ils veulent construire et comment le construire. Ce dont ils ont besoin, c'est d'une plate-forme offrant tous les algorithmes de composants de réseau neuronal qu'ils comprennent déjà, pour construire cette solution optimale pour leur produit.

Il s'agit d'une liste de rêve d'algorithmes et d'optimisations pour fournir la véritable capacité révolutionnaire, le débit et la faible puissance dont l'IA de pointe avancée a besoin. Mais pourquoi seulement un rêve ? Les constructeurs de produits avancés ne sont plus satisfaits des améliorations incrémentielles de l'IA. Ils attendent désormais des plates-formes alignées sur leur compréhension considérablement améliorée des possibilités.

Pour en savoir plus sur le travail de CEVA en edge AI, cliquez ICI.

Roni Sadeh a plus de 20 ans d'expérience dans la conception de processeurs et d'accélérateurs, se concentrant ces dernières années sur les solutions logicielles et matérielles liées à l'IA pour les applications audio/parole/vision par ordinateur, et concevant la prochaine génération d'accélérateurs d'IA évolutifs à des centaines de TOP.

Roni est titulaire d'un B.Sc en génie aéronautique de l'Université Technion.