L'IA de Google génère du code qui surpasse les programmeurs humains

En mai 2017, l'équipe Google Brain a annoncé une nouvelle approche appelée AutoML. C'est un réseau de neurones contrôleur pour développer une architecture de modèle enfant, qui peut être entraînée pour effectuer une tâche particulière. En termes simples, c'est une IA capable de générer sa propre IA.

Jeu de données utilisé

Les chercheurs de Google ont testé AutoML sur de petits jeux de données académiques tels que Penn Treebank et CIFAR-10. Plus tard, ils ont décidé de présenter à AutoML son défi le plus difficile à ce jour. Cette fois, ils ont testé des jeux de données plus importants comme la détection d'objets COCO et la classification d'images ImageNet, et le résultat obtenu était étonnant.

Plusieurs architectures d'apprentissage automatique de pointe ont été développées par des humains pour travailler sur de grands jeux de données dans des compétitions académiques. Dans "Learning Transferable Architectures for Scalable Image Recognition", les chercheurs de Google ont appliqué AutoML à deux des jeux de données académiques les plus populaires – COCO et ImageNet. Si l'on applique AutoML nativement à ces jeux de données massifs, cela prendrait plusieurs mois d'entraînement pour obtenir un résultat souhaitable.

Comment ça marche ?

AutoML est construit sur des algorithmes d'apprentissage par renforcement et des algorithmes évolutionnaires. Cependant, pour l'appliquer à ImageNet, les chercheurs l'ont modifié pour le rendre plus traitable aux jeux de données à grande échelle :

1. Redessiner l'espace de recherche pour qu'il trouve la meilleure couche, qui peut être empilée de manière flexible plusieurs fois pour construire un réseau final.
2. La recherche d'architecture est effectuée sur CIFAR-10 et la meilleure architecture apprise est transférée vers la détection d'objets COCO et l'architecture de classification d'images ImageNet.

Après ces modifications, AutoML a pu trouver les meilleures couches non seulement pour CIFAR-10, mais aussi pour la détection d'objets COCO et la classification ImageNet. Ces 2 couches sont fusionnées pour construire une nouvelle architecture, appelée NASNet.

Comme le montre la figure, l'architecture NASNet (développée par AutoML) contient 2 types de couches – Couche normale et Couche de réduction.

Source : Google Research Blog

Résultats

NASNet a atteint 82,7 % de précision de prédiction sur la classification d'images ImageNet, ce qui est bien meilleur que les modèles Inception précédents construits par l'équipe Google Brain. De plus, il a performé 1,2 % mieux que les résultats précédents publiés et non publiés.

NASNet peut également être redimensionné pour générer un ensemble de modèles qui atteignent des taux de précision décents tout en maintenant de faibles coûts computationnels. Par exemple, une petite version de NASNet donne une précision de 74 % (tout en réduisant le coût computationnel de moitié), ce qui est plus de 3 % mieux que plusieurs modèles de pointe de la même taille, conçus pour les plateformes mobiles.

Comme on peut le voir dans les figures, les précisions de NASNet sont supérieures aux modèles inventés par l'homme à de nombreuses tailles de modèles, impliquant différents nombres (en millions) d'opérations et de paramètres, pour la classification d'images ImageNet.

Ce tableau montre la performance de la recherche d'architecture et d'autres modèles développés par des humains sur la classification ImageNet. Mult-Adds fait référence au nombre d'opérations d'accumulation-multiplication composées pour une image.

Détection d'objets utilisant Faster-RCNN avec NASNet

Les chercheurs de Google ont transféré les caractéristiques apprises d'ImageNet vers la détection d'objets COCO. Dans les tests, l'intégration des caractéristiques apprises d'ImageNet avec le cadre Faster RCNN a éclipsé la performance prédictive précédente sur COCO. Le plus grand modèle a atteint 43,1 % mAP, ce qui est environ 4 % mieux que les résultats passés des modèles de pointe.

Référence : arxiv.org

Le code source de NASNet pour l'inférence sur la classification d'images et pour la détection d'objets est disponible sur Github.

Prochaines étapes

Les caractéristiques apprises par NASNet sur COCO et ImageNet peuvent être réutilisées pour plusieurs applications de vision. De plus, cette approche peut nous apprendre quelque chose sur pourquoi certains types de réseaux de neurones performent si bien.

AutoML pourrait ouvrir le domaine de l'apprentissage automatique aux non-experts, et pourrait être utilisé pour développer des machines/robots sophistiqués alimentés par l'IA. Selon une recherche, l'IA à ce niveau d'intelligence peut aider les personnes malvoyantes à retrouver la vue.

Évidemment, cette architecture peut être utilisée dans les voitures autonomes. On peut aussi imaginer le système aidant à identifier le trafic, les dangers routiers et les piétons. Il pourrait également être utilisé dans la réalité augmentée pour rendre les applications plus interactives avec l'environnement. Mais peut-être les applications les plus intrigantes de cette IA restent-elles à découvrir.

À lire : 15 projets avancés d'intelligence artificielle

À l'avenir, l'équipe de recherche de Google travaillera sur l'analyse et les tests de tels types d'architectures générées par ordinateur pour les affiner et mieux les comprendre. S'ils réussissent, ils pourront inspirer un tout nouveau type de réseaux de neurones, qui aurait un impact plus grand sur tous.