Communauté TinyML vise l'IA à 1 mW pour appareils en périphérie

Quand le groupe TinyML a tenu sa réunion inaugurale, le premier ordre du jour était une question simple : Qu'est-ce que TinyML exactement ?

TinyML est une communauté d'ingénieurs dédiée à faire tourner le machine learning (ML) sur des appareils ultra-basse consommation. La première réunion s'est concentrée sur la faisabilité du ML sur microcontrôleurs et la nécessité de processeurs ML spécialisés basse consommation.

Evgeni Gousev de Qualcomm AI Research a défini TinyML comme des techniques ML consommant 1 mW ou moins. Il a appelé 1 mW le « nombre magique » pour les applications always-on dans les smartphones.

« Alors que le ML cloud domine la conversation, le ML sur appareil devient de plus en plus sophistiqué », a noté Gousev. « Mais 90 % des données proviennent du monde réel. Comment fusionner toutes les caméras, IMU, et autres capteurs et exécuter le ML localement ? »

« TinyML va être grand, et il y a un besoin urgent de construire tout l'écosystème — applications, logiciels, outils, algorithmes, matériel, ASICs, devices, fonderies, et plus », a ajouté Gousev.

L'ingénieur Google Nat Jefferies présente au premier meetup TinyML (Image : TinyML)

TensorFlow Lite

L'ingénieur Google Daniel Situnayake a présenté TensorFlow Lite, une version allégée de TensorFlow adaptée aux appareils edge, incluant microcontrôleurs.

« TensorFlow Lite a servi les téléphones mobiles pendant des années, et nous sommes maintenant excités de l'apporter à des appareils encore plus petits », a-t-il dit.

Après l'entraînement d'un modèle dans TensorFlow, les ingénieurs le convertissent en TensorFlow Lite, qui réduit le modèle, applique la quantification, et l'optimise sinon pour qu'il tienne confortablement sur le matériel cible.

Une stratégie d'économie d'énergie qu'il a décrite est le chaînage de modèles.

« Imaginez une cascade de classificateurs : un minuscule modèle basse consommation détecte d'abord si du son est présent, puis un modèle légèrement plus grand détermine s'il s'agit de parole humaine, et enfin un réseau plus profond s'active seulement quand ces conditions sont remplies », a expliqué Situnayake. « En réveillant le modèle énergivore seulement quand nécessaire, nous réalisons d'importantes économies d'énergie. »

Le chaînage de modèles ML peut aider à économiser l'énergie (Image : Google)

Nat Jefferies, membre de l'équipe « TensorFlow Lite for microcontrollers » de Google, a souligné la demande croissante de budgets énergétiques stricts dans les appareils grand public dotés de capteurs sophistiqués mais reposant encore sur batteries longue durée ou energy harvesting.

« TinyML — deep learning sur microcontrôleurs — est la clé », a-t-il dit. « Ça nous permet de traiter les données capteurs localement avec cycles CPU et lectures capteurs minimaux, évitant le coût énergétique de transmission hors-puce. TinyML peut distiller les données capteurs brutes en quelques octets, puis transmettre seulement cette charge utile compressée. »

Il a cité un récent challenge Google qui a attiré des soumissions impressionnantes pour des modèles 250 kB capables de détection de personne, confirmant la viabilité de cette approche.

« Nous pouvons maintenant réduire les modèles TensorFlow au point qu'ils tiennent sur microcontrôleurs, faisant de ce moment une opportunité pour se lancer dans l'espace », a conclu Jefferies.

La feuille de route Google pour TensorFlow Lite sur microcontrôleurs inclut l'open-sourcing de projets démo, collaboration avec vendeurs de puces pour optimiser les kernels, réduction de l'usage mémoire pour exécuter des modèles plus complexes, et expansion du support de plateformes — SparkFun Edge est la première carte, avec support Arduino et Mbed à l'horizon.

Dispositifs spécialisés

Martin Croome, VP Business Development chez GreenWaves Technologies, a plaidé pour des processeurs ML spécialisés basse consommation.

« Nous avons besoin d'un focus plus clair sur le ML ultra-basse consommation des perspectives algorithmique et matérielle », a dit Croome.

Le processeur d'application RISC-V de GreenWaves, le GAP8, cible l'inférence dans appareils edge avec consommation milli-watt et courants de veille ultra-faibles. La puce est conçue pour appareils alimentés par batterie et ceux qui récoltent l'énergie.

Accélérateur ML ultra-basse consommation de GreenWaves avec neuf cœurs RISC-V (Image : GreenWaves Technologies)

Pour maintenir la consommation basse, le GAP8 utilise le parallélisme non pour la vitesse mais pour permettre une fréquence et tension d'horloge plus basses. L'accélérateur matériel de la puce peut effectuer une convolution 5×5 sur données 16-bit en un cycle. Comme les réseaux de neurones convolutifs (CNN) utilisent des entrées et poids de taille fixe, la gestion mémoire peut être déterminée à la compilation, réduisant encore l'overhead runtime.

Équilibrer spécialisation et flexibilité est un défi. « L'IA évolue rapidement. Ce qui est cutting-edge aujourd'hui peut être obsolète demain », a averti Croome. « Nous devons éviter la sur-spécialisation, pour rester agiles et adapter aux futures innovations. »

Le GAP8 est en échantillonnage depuis un an ; la production débutera ce mois, avec expéditions volume prévues fin Q3.

Les meetups TinyML ont lieu le dernier jeudi de chaque mois dans la Bay Area et accueillent participants de l'industrie et du monde académique.