GLTR : Outil statistique fiable pour identifier les textes générés par IA

La nouvelle méthode statistique peut détecter le contenu généré par IA. Elle fonctionne en identifiant les textes trop prévisibles plutôt qu'en signalant simplement les erreurs dans les textes.

Au cours de la dernière décennie, la communauté du traitement du langage naturel a été témoin de la croissance de modèles de langage de plus en plus grands et intelligents.

À une époque d'intelligence artificielle et de réseaux de neurones profonds équipés du langage naturel humain, des chercheurs de l'Université Harvard et d'IBM Research ont développé une méthode statistique pour détecter le texte généré par ordinateur.

Ils ont construit un outil interactif (disponible publiquement) pour différencier le langage humain naturel et le texte généré par machines à partir du discours humain. L'objectif est de donner aux gens plus d'informations pour qu'ils puissent prendre une décision éclairée sur ce qui est faux et ce qui est vrai.

Les modèles d'intelligence artificielle sont généralement entraînés sur des millions de textes (pris du web mondial). Ils prédisent les mots qui suivent le plus souvent les uns les autres pour imiter le langage humain. Par exemple, le mot « Vous » est statistiquement le plus susceptible d'être suivi par les mots « étiez », « avez », et « êtes ».

En utilisant cette méthodologie, les chercheurs ont construit un outil qui détecte les textes trop prévisibles [plutôt que de signaler les erreurs dans les textes]. Il permet à la fois à l'IA et aux humains de travailler ensemble pour identifier le langage généré par machine.

Comment ça marche ?

La nouvelle technique — nommée Giant Language model Test Room (GLTR) — est basée sur un modèle entraîné sur environ 45 millions de textes de sites web. Il a accès à l'un des plus grands modèles disponibles publiquement, GPT-2.

Ainsi, il peut observer ce que GPT-2 aurait prédit à chaque position (pour toute entrée textuelle) et fonctionne efficacement contre GPT-2 et de nombreux autres modèles.

GLTR représente un outil médico-légal visuel pour identifier les textes générés automatiquement. Il montre 3 histogrammes différents agrégeant l'information sur l'ensemble du texte.

Référence : The Harvard Gazette | GitHub

Entrez simplement un paragraphe dans la boîte à outils et il mettra en surbrillance tous les mots en quatre couleurs différentes, chacune dénotant la prévisibilité du mot dans le contexte de ce qui le précède. Le violet signifie que le mot n'est pas prévisible ; le rouge, légèrement prévisible ; le jaune, modérément prévisible ; et le vert montre les mots hautement prévisibles dans le paragraphe.

C'est à quoi ressemble un paragraphe généré par machine :

Le premier histogramme montre combien de mots de chaque catégorie apparaissent dans le paragraphe. Le second montre le ratio entre les probabilités du mot le plus prédit et le mot suivant. Le troisième histogramme représente la distribution sur les entropies de prédiction.

Bien sûr, l'incertitude sera plus élevée pour les textes écrits par des humains, surtout pour les articles de recherche et les textes académiques. C'est à quoi ressemble le résumé d'un article de recherche (sur les galaxies EAGLE) :

L'équipe de recherche a également testé leur nouvel outil avec un groupe de diplômés en informatique. Les étudiants ont pu détecter 50 % des paragraphes générés par ordinateur, cependant avec l'aide de cet outil, ils en ont identifié 72 %. Le pourcentage pourrait être encore meilleur avec un peu d'entraînement avec le système.