Libérez la productivité : associez l'automatisation UI à l'automatisation basée sur LLM

Récemment, un certain nombre de grandes entreprises d'IA ont lancé de nouvelles capacités qui exploitent leurs puissants modèles de langage fondamentaux (LLM) pour automatiser rapidement de nombreuses actions que les gens effectuent sur les écrans. Computer Use d'Anthropic, Amazon Q Business, et le prochain « Operator » d'OpenAI peuvent rapidement comprendre les écrans, opérer les logiciels utilisés, et émuler les actions souhaitées par l'utilisateur – sans aucun codage ou entraînement de modèle.

L'automatisation basée sur LLM est une nouvelle façon d'automatiser. Elle est significativement différente de l'automatisation UI, qui repose sur des modèles entraînés et des approches basées sur des règles pour extraire de l'information et interagir avec les écrans, systèmes et logiciels. Parce que l'automatisation basée sur LLM est si beaucoup plus simple à utiliser, certains observateurs de l'industrie ont suggéré qu'elle pourrait supplanter l'automatisation UI.

Nous avons effectué une évaluation extensive de ces nouvelles technologies, et nous sommes enthousiasmés par leur potentiel d'étendre l'impact de l'automatisation à travers les entreprises et les utilisateurs. En fait, nous intégrons le meilleur d'entre elles dans notre plateforme. Parce qu'elles permettent à l'IA d'interagir avec les logiciels comme le font les humains, nous croyons qu'elles peuvent vraiment révolutionner les interactions entre personnes et écrans. Elles ont le potentiel de booster la productivité personnelle à de nouveaux sommets et de permettre à pratiquement n'importe qui de devenir un développeur citoyen pour automatiser leurs tâches fastidieuses et répétitives.

Cependant, l'automatisation basée sur LLM ne remplacera jamais complètement l'automatisation UI dans tous les processus. Par exemple, l'automatisation UI est un bien meilleur choix pour les processus automatisés à haut volume, critiques, qui impliquent l'accès à de multiples systèmes et le travail avec des données sensibles ou propriétaires. Ces types de processus abondent dans les entreprises – et ils sont, en général, mieux gérés par l'automatisation UI.

Pour comprendre pourquoi, plongeons rapidement dans le fonctionnement de chaque approche.

L'automatisation UI et l'automatisation basée sur LLM fonctionnent différemment – et cela importe

Les approches basées sur LLM emploient généralement un LLM multimodal (comprenant images, mots, audio, etc.) pour « lire » un écran et agir. L'approche dépend d'un LLM comprenant l'information sur l'écran (données, champs, etc.) hébergée dans le cloud. Le modèle prédit alors les actions que l'humain prendrait et envoie des instructions pour effectuer l'action (copier-coller des données, etc.).

Inversement, dans l'automatisation UI, les robots suivent un ensemble d'instructions pré-développé pour accomplir des tâches définies. Ils peuvent s'exécuter dans l'environnement du client et/ou de l'utilisateur. Les données ne peuvent être interprétées que localement, et les robots suivent un ensemble d'instructions clair et déterministe. Les avancées récentes alimentées par l'IA ont significativement amélioré la stabilité et la fiabilité, adressant beaucoup des problèmes initiaux de fragilité et de cassure de l'automatisation UI.

Les avantages clairs de l'automatisation UI

Les différences entre ces deux approches font TOUTE la différence lors de l'automatisation de processus complexes, à haut volume, multi-systèmes qui requièrent haute sécurité et précision. Pour ces types de flux de travail, l'automatisation UI est une bien meilleure option. Voici pourquoi :

Précision et exhaustivité : Les processus critiques comme order-to-cash dépendent de l'extraction, du déplacement et de la validation précis de données d'un endroit à un autre, ainsi que de la documentation et des communications entourant ces activités. Dans ce domaine, les approches basées sur LLM ne peuvent pas égaler la performance de l'automatisation UI.

Par exemple, une analyse des données UiPath montre que 96,5 % de toutes les automatisations de nos clients s'exécutent avec succès avec nos approches d'automatisation UI. Les données publiques sur l'automatisation basée sur IA suggèrent qu'elle est significativement moins fiable. Par exemple, Anthropic a rapporté un taux de précision de 14,9 % dans un test conçu pour évaluer les tentatives des développeurs de faire utiliser des ordinateurs par des modèles – bien en dessous du niveau de compétence humaine de 70-75 %. Bien que la précision s'améliorera sûrement avec le temps, il y a encore un long chemin avant d'atteindre la parité avec l'automatisation UI.

Il y a d'autres problèmes aussi. Tous les LLM sont sujets aux hallucinations et peuvent prendre des actions imprévisibles. Par exemple, les chercheurs d'Anthropic ont noté des instances où son LLM s'est soudainement mis hors tâche – cliquant sur de mauvais écrans ou téléchargeant inexplicablement des photos de parcs nationaux. Les robots déterministes de l'automatisation UI n'ont simplement pas la capacité de devenir incontrôlables comme ça.

Ensuite, il y a la question de l'exhaustivité. Une approche qui prend des photos de l'écran visible peut manquer des données sur des listes déroulantes qui s'étendent en dessous des marges. Et elle pourrait négliger des actions éphémères qui ne se produisaient pas quand les photos ont été prises. L'automatisation UI n'a pas ces problèmes.

Sécurité et gouvernance : Quand il s'agit d'assurer la confidentialité, bloquer les intrusions malveillantes, et garder les données propriétaires derrière les pare-feux, l'automatisation UI est un choix significativement moins risqué. Par exemple, avec l'automatisation UI, seules les données nécessaires sont collectées. En contraste avec l'automatisation basée sur LLM, l'automatisation UI n'implique aucune extraction massive de captures d'écran qui pourraient inadvertamment contenir des données sensibles. De plus, les robots logiciels UiPath qui effectuent notre automatisation UI peuvent être accrédités et leur accès aux données sensibles contrôlé. Ce niveau de sécurité n'est pas actuellement disponible avec l'automatisation basée sur LLM.

Pour nous, ce n'est pas soit/l'un ou l'autre – c'est les deux

En regardant vers l'avenir, il est clair que l'essor de l'automatisation basée sur LLM représente un grand bond en avant pour certains types de processus et activités. Le monde est proche de réaliser le rêve de mettre de l'automatisation pilotée par prompt, sans code, à la volée, entre les mains de pratiquement tous ceux qui utilisent des écrans et des logiciels – inaugurant une nouvelle ère de productivité et de performance personnelle sans précédent.

Nous prenons déjà des mesures pour apporter ces types de capacités dans la UiPath Platform™. En particulier, nous l'incorporerons bientôt dans nos expériences utilisateur final comme Autopilot™ for Everyone – ainsi qu'en fournissant l'automatisation basée sur LLM comme option additionnelle pour les développeurs citoyens et experts en automatisation.

Nous savons que les entreprises voudront profiter de ces nouvelles capacités – mais veulent le faire en toute sécurité et avec un contrôle total. Par conséquent, nous avons étendu les capacités de notre plateforme pour fournir l'orchestration, la gestion et la gouvernance nécessaires que les entreprises exigent, quel que soit le modèle, ou les modèles, qu'elles adoptent.

Mais même en élargissant la fonctionnalité et le support pour l'automatisation basée sur LLM, nous continuons à faire progresser nos capacités d'automatisation UI – parce que l'automatisation UI sera la meilleure solution pour une large gamme de processus critiques d'entreprise. Nous continuerons à tirer parti des avancées IA émergentes pour rendre notre automatisation UI encore plus intelligente, plus habile à comprendre et agir sans codage et entraînement significatifs, et plus résiliente. Un exemple premier : le nouvel UiPath Healing Agent (maintenant en preview publique), qui peut auto-réparer les automatisations qui échouent.

En résumé, UiPath croit en un futur d'automatisation alimentée par LLM sous toutes ses formes, incluant les approches UI et basées sur LLM. Chacune a des forces uniques ; chacune est le meilleur choix pour un ensemble particulier d'opportunités d'automatisation. Notre objectif est de rendre les deux disponibles – ainsi que toute nouvelle approche IA qui émergerait – à travers une plateforme d'entreprise qui peut orchestrer, gouverner, et gérer la panoplie complète d'options d'automatisation disponibles aujourd'hui et dans le futur.