Optimiser les modèles IA pour un déploiement embarqué efficace

Alors que la demande d'interfaces pilotées IA grandit, intégrer des fonctionnalités comme la reconnaissance faciale dans les machines ne ressemble plus à un saut monumental. Avec une pléthore de plateformes IA, outils d'entraînement et projets open-source — comme l'exemple Face-ID — les développeurs peuvent rapidement prototyper sur PC.

(Source : CEVA)

Contraintes

Migrer un réseau entraîné sur PC ou cloud vers un système embarqué présente des défis distincts. Les modèles construits pour hardware haut de gamme ignorent souvent contraintes mémoire, s'appuient sur arithmétique flottante, et dépendent de mémoire hors puce pour inférence fenêtre glissante. Si un prototype sur PC puissant peut se permettre ces inefficacités, une application embarquée doit être significativement plus frugale — tout en maintenant la performance.

Les essentiels de l'optimisation

Le premier pilier de l'optimisation est la quantification. Convertir les poids de flottant 32-bit en entiers 8-bit réduit à la fois taille du modèle et valeurs intermédiaires, offrant économie mémoire substantielle avec impact négligeable sur précision pour la plupart tâches vision.

Exploiter la parcimonie des poids peut réduire davantage le calcul. En mettant à zéro coefficients proches de zéro — tout en surveillant l'impact précision — vous éliminez multiplications inutiles, coupant trafic mémoire et consommation puissance.

En pratique, les modèles vision traitent images incrémentalement, donc les poids sont mis à jour au fur et à mesure que la fenêtre de calcul glisse sur la frame. Forcer une grande proportion de la matrice de poids à zéro permet de compresser l'array et le stocker en SRAM sur puce, réduisant trafic hors puce et boostant le débit.

Les réseaux de neurones dépendent aussi de bibliothèques matures. Un runtime compatible microcontrôleur — comme TensorFlow Lite ou bibliothèque accélérateur vendor-spécifique — est essentiel pour inférence efficace. Pour exploitation complète d'un microcontrôleur, une solution sur mesure est généralement requise.

Choisir la bonne plateforme est donc critique. Vous avez besoin d'un flux qui compile un modèle entraîné dans votre framework choisi (ex: TensorFlow) directement sur votre cible embarquée, avec minimal tweaking manuel, tout en permettant contrôle granulaire sur niveaux quantification, seuils poids, et mappage mémoire.

Comment en faire un flux facile à utiliser ?

Ce qu'on veut est un pipeline transparent qui prend un réseau entraîné et le package pour déploiement — complet avec quantification, élagage parcimonie, et génération code runtime — pour que vous puissiez focus sur l'application plutôt que les optimisations bas niveau.

Le CDNN de CEVA est construit pour ce but exact. Il fournit une toolchain offline pour quantification, élagage, et génération runtime, et délivre bibliothèques étroitement couplées aux DSP CEVA et accélérateurs clients. CDNN supporte tous formats modèles majeurs, incluant TensorFlow Lite, ONNX, et Caffe.

Contenus connexes :

• Maîtriser l'IA embarquée
• Compresser modèles IA dans microcontrôleurs
• Appliquer apprentissage automatique dans systèmes embarqués
• Architectures microcontrôleurs évoluent pour IA
• Entraînement modèles IA sur l'edge
• Architectures microcontrôleurs évoluent pour IA
• Transformer big data en smart data avec IA embarquée

Pour plus d'Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.