La puce hybride flux de données & Von Neumann de Quadric accélère les charges de travail IA et vision

Une architecture hybride novatrice de flux de données et Von Neumann peut accélérer des charges de travail incluant réseaux de neurones, apprentissage automatique, vision par ordinateur, DSP et sous-programmes d'algèbre linéaire de base.

Quadric, une startup de la Silicon Valley, a conçu un accélérateur qui booste à la fois l'inférence IA et les algorithmes de vision par ordinateur traditionnels sur des appareils edge tels que robots, automatisation d'usine et imagerie médicale. Le design hybride unique du matériel unifie les principes de flux de données et Von Neumann, permettant l'exécution efficace de réseaux de neurones, apprentissage automatique, DSP et routines d'algèbre linéaire.

« Dès le départ, nous avons reconnu que les appareils edge demandent plus que l'IA seule », a déclaré le PDG Veerbhan Kheterpal à EE Times. « Les développeurs ont besoin d'un système unique qui peut exécuter des algorithmes de calcul haute performance classiques aux côtés de l'IA. »

Kheterpal a souligné que l'architecture n'est pas une collection d'accélérateurs discrets mais un unique jeu d'instructions parallèles de données qui peut accélérer des charges de travail diverses, y compris l'inférence IA.

« Des travaux récents montrent que le remplacement de couches entières par des transformations de Fourier rapides (FFT) peut dramatiquement accélérer les transformers », a dit le Directeur Produit Daniel Firu. Quadric est prêt à accélérer de telles charges de travail, citant un article Google où la sous-couche d'auto-attention d'un encodeur transformer a été échangée contre une FFT, atteignant 92 % de précision sur le benchmark BERT et un entraînement jusqu'à sept fois plus rapide sur GPU ou deux fois plus rapide sur TPU.

Kit développeur Quadric, une carte M.2 avec le processeur Q16 et 4 Go de mémoire externe (Source : Quadric)

Robots viticoles

Les fondateurs — Veerbhan Kheterpal, Daniel Firu et Nigel Drego — ont précédemment fondé 21, une entreprise de minage bitcoin acquise par Coinbase. L'objectif initial de Quadric était les robots agricoles traversant les vignobles de Napa Valley, détectant fuites d'irrigation et ravageurs. Cependant, le coût élevé des solutions basées sur drones a poussé l'équipe à explorer un accélérateur personnalisé.

Veerbhan Kheterpal (Source : Quadric)

« Nous avons réalisé qu'un système basé sur drone coûterait 5-10 k$, mais une plateforme basée sur tracteur dépasserait 50 k$ avec de gros GPUs et nombreuses caméras. Cette insight nous a menés à concevoir la puce accélérateur dont nous avions besoin », a expliqué Kheterpal.

Suite à un tour d'amorçage en 2017 et une Série A de 13 M$ menée par le Tier-1 automobile Denso, Quadric a levé 18 M$ à ce jour.

Design Turing-complet

L'architecture pilotée par instructions de Quadric mélange les concepts de flux de données et Von Neumann pour remplacer les systèmes edge hétérogènes par une solution unique et flexible. Les cœurs Vortex Turing-complets délivrent l'accélération tout en conservant la programmabilité. Des réseaux scalables et la compatibilité avec les procédés 7 ou 5 nm rendent le design adapté aux appareils edge avec des budgets de puissance de quelques centaines de milliwatts à 20 W.

La puce Q16 héberge un réseau 16 × 16 de cœurs Vortex. Chaque cœur peut effectuer des multiplications matricielles et opérations IA, et inclut une ALU multifonctionnelle pour logique, réduction, décalage, et plus. Le logiciel expose un large spectre algorithmique — des fonctions d'activation LSTM au flux de contrôle personnalisé — en utilisant des instructions if-then-else à travers le réseau pour exploiter la parcimonie fine.

Chaque cœur bénéficie d'un accès en cycle unique à ses voisins et d'une mémoire en-cœur de 4 Kb, tandis que la mémoire sur puce fournit un accès aux données à faible latence et déterministe.

Les cœurs s'exécutent en mode « instruction unique, décodage multiple » : la même instruction est diffusée chaque cycle, mais les données d'exécution dynamiques laissent les cœurs individuels l'interpréter différemment, permettant une fonction hétérogène dans un réseau homogène.

Un bus de diffusion dédié diffuse efficacement les constantes — comme les poids de réseaux de neurones — dans tous les cœurs simultanément. Des unités de chargement/stockage statiques contrôlées par logiciel permettent des temps d'exécution de noyau déterministes, avec des chargements double-front simultanés et des stockages triple-front réduisant le temps d'exécution.

Daniel Firu (Source : Quadric)

« Charger d'un côté et stocker de l'autre nous permet d'effectuer des remappages de données et des rotations d'images au niveau matériel », a dit Firu.

Les mémoires statiques sur puce, pas des caches, fournissent un espace ample pour de grandes structures de données. Les 8 Go de mémoire du Q16 peuvent contenir plusieurs tampons d'images HD ou un ensemble complet de poids de réseau neuronal.

Pile logicielle

Quadric a construit sa pile logicielle avant le silicium, permettant aux développeurs de prototyper sur un simulateur ou FPGA. La pile abstrait l'architecture via un compilateur basé sur LLVM et une API C++. Le Mode Source supporte les algorithmes parallèles de données avec contrôle C++ sur les fonctionnalités architecturales, et peut exprimer des opérations personnalisées alors que les modèles IA deviennent plus complexes.

Pile logicielle Quadric (Source : Quadric)

Un Mode Graphique à venir fournira une interface sans code pour les modèles TensorFlow ou ONNX, soutenue par un compilateur DNN basé sur TVM qui auto-génère le code.

« La plupart des plateformes vous limitent à leur propre compilateur IA, mais nous offrons des cœurs Turing-complets qui peuvent exécuter n'importe quelle opération », a expliqué Kheterpal. « Cette flexibilité permet aux développeurs de déployer des algorithmes personnalisés ou des opérateurs non supportés sans restriction. »

Feuille de route de la puce

Le Q16 délivre 256 cœurs Vortex dans un réseau 16 × 16 fabriqué en silicium 16 nm, atteignant 4 TOPS INT8 DNN. Il exécute ResNet-50 à 200 inférences par seconde sur des images 224 × 224, consommant en moyenne 2 W.

La feuille de route de Quadric inclut une architecture de seconde génération et une puce Q32 — un réseau de 1 000 cœurs — ciblée pour la fabrication 7 nm. Le Q32 pourrait également intégrer des cœurs ARM ou RISC-V pour servir de processeur hôte.

Un kit développeur M.2 avec le processeur Q16 et 4 Go de mémoire externe est disponible aujourd'hui.

>> Cet article a été publié à l'origine sur notre site sœur, EE Times.

---

Contenus connexes :

• Accélérateurs matériels servent les applications IA
• Quand un DSP bat un accélérateur matériel
• Guide pour accélérer les applications avec les instructions RISC-V personnalisées justes
• La performance de puce d'inférence repose sur un design de sous-système mémoire optimisé
• Nouveaux modules d'accélération IA améliorent la performance edge
• L'IA edge défie la technologie mémoire

Pour plus d'Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.