Comment les détecteur d'IA authentifient-ils un texte ?

Un détecteur d’intelligence artificielle ne sait pas que ChatGPT a écrit un texte. Il calcule surtout à quel point ce texte ressemble à ceux qu’il a appris à reconnaître comme artificiels.

C’est une distinction essentielle, car un score affichant 97 ou 99 % peut donner l’impression d’une preuve presque scientifique. Ces outils ne fonctionnent pas comme un logiciel antiplagiat. Ils ne recherchent pas votre paragraphe dans une base contenant toutes les réponses produites par ChatGPT. Les systèmes modernes découpent d’abord le texte en tokens, transforment ces éléments en représentations numériques, puis les font analyser par un réseau neuronal entraîné sur de grandes quantités de textes dont l’origine est connue.

Pangram, par exemple, entraîne son modèle avec des documents humains et des productions provenant de dizaines de modèles d’IA. Pour éviter qu’il apprenne simplement qu’un article scientifique est « humain » et qu’une dissertation est « artificielle », l’entreprise génère aussi des textes synthétiques reproduisant le sujet, le ton et la longueur des exemples humains. Cela permet de comprendre pourquoi l’ancienne explication fondée uniquement sur la « perplexité » est devenue insuffisante. Cette mesure évalue à quel point les mots d’un texte sont prévisibles. Elle a beaucoup servi aux premières générations de détecteurs, mais les outils actuels combinent bien davantage de caractéristiques grâce à des modèles d’apprentissage profond.

Le problème apparaît lorsque l’écriture devient hybride. Corriger quelques fautes avec une IA, lui faire réécrire plusieurs paragraphes ou lui demander l’intégralité d’un texte sont trois situations très différentes, alors que le détecteur ne voit que le résultat final. Une étude publiée cette année a ainsi montré qu’un détecteur scientifique repérant initialement 99,8 % des textes artificiels tombait à 70,4 % après paraphrase. Un autre projet, AITDNA, qui conserve tout l’historique de rédaction entre humains et IA, constate que les détecteurs sont souvent performants pour certaines définitions du « texte IA », beaucoup moins lorsqu’on mélange toutes les formes de collaboration.

Source : Clubic

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.