Le système à ultra faible consommation épingle les espoirs de l'IA sur TinyML

SUNNYVALE, Californie - Un groupe de près de 200 ingénieurs et chercheurs s'est réuni ici pour discuter de la formation d'une communauté pour cultiver l'apprentissage en profondeur dans les systèmes à très basse consommation, un domaine qu'ils appellent TinyML. Dans les présentations et les dialogues, ils ont ouvertement lutté pour maîtriser une branche encore immature du domaine technologique le plus rapide dans l'espoir de mettre en place une nouvelle classe de systèmes.

"Les idées géniales ne manquent pas", a déclaré Ian Bratt, spécialiste de l'apprentissage automatique chez Arm, en lançant une discussion.

« Il y a quatre ans, les choses devenaient ennuyeuses, puis l'apprentissage automatique est arrivé avec de nouveaux formats à virgule flottante et de nouvelles techniques de compression, c'est comme redevenir jeune. Mais il y a une grande pénurie de moyens d'utiliser ces idées dans un système réel pour gagner de l'argent », a déclaré Bratt.

« L'écosystème du logiciel est un Far West total. C'est tellement fragmenté, et c'est un peu un accaparement des terres avec Amazon, Google, Facebook et d'autres qui poussent tous leurs cadres… Alors, comment un ingénieur en matériel peut-il obtenir quelque chose que beaucoup de gens peuvent utiliser ? », a-t-il demandé.

Un ingénieur de STMicroelectronics a accepté.

« Je viens de réaliser qu'il existe au moins quatre compilateurs pour l'IA et que les nouvelles puces ne seront pas utilisées par le concepteur intégré traditionnel. Nous devons donc stabiliser les interfaces logicielles et investir dans l'interopérabilité :un comité de normalisation devrait travailler sur des interfaces communes », a suggéré l'ingénieur STM.

Il est peut-être trop tôt pour les normes logicielles, a déclaré Pete Warden, coprésident du groupe TinyML et responsable technique de TensorFlow Lite de Google, un framework qui cible les environnements mobiles et embarqués.

« Nous blâmons les chercheurs qui changent constamment les opérations et les architectures. Ils découvrent encore des choses sur les poids, la compression, les formats et la quantification. La sémantique ne cesse de changer et nous devons les suivre », a déclaré Warden.

"Au cours des prochaines années, il n'y a pas d'avenir pour les accélérateurs qui n'exécutent pas de calcul à usage général pour gérer une nouvelle opération ou fonction d'activation, car dans deux ans, il est probable que les gens apporteront différentes opérations à la table", a-t-il ajouté.

Un chercheur de Microsoft AI a accepté. «Nous sommes très loin de l'endroit où nous pensons que nous devrions être, et nous n'y arriverons pas dans un an ou deux. C'est la raison pour laquelle Microsoft a investi dans les FPGA pour accélérer ses services cloud Azure. "Nous devons créer les bonnes couches d'abstraction pour permettre l'innovation matérielle... et s'il y avait un accélérateur matériel open source, cela pourrait aider", a-t-il ajouté.

"Peut-être qu'une norme de conformité est la première étape, afin que les recherches bénéficient de la même expérience à la périphérie que dans le cloud", a suggéré Bratt of Arm.

"Nous avons besoin de spécifications fonctionnelles robustes quel que soit le niveau dans lequel vous vivez. Si nous les avons à des niveaux suffisants, cela donnera aux gens un point d'entrée vers d'autres couches, et ce groupe est le meilleur pour s'attaquer à les définir", a déclaré Naveen Verma, un Professeur de Princeton dont les recherches portent sur les processeurs en mémoire d'IA.