Pangram révèle les failles cachées des IA

Résumé

Selon Max Spero, patron de Pangram, un modèle de langage peut produire une prose propre, mais ses arguments convergent trop souvent vers les mêmes schémas, contrairement aux humains.

Les faits

Max Spero, CEO de Pangram, explique qu’un modèle de langage peut écrire une prose plus propre que celle de la plupart des humains, mais qu’en lui demandant 100 arguments sur un sujet, ils « se regroupent tous » autour d’un noyau commun. Selon lui, la raison tient au fait que le raisonnement humain est beaucoup plus diversifié, et c’est précisément ce contraste qui peut trahir l’IA. L’entretien présenté dans l’article insiste sur l’idée que Pangram cherche à repérer des indices structurels laissés par les modèles de langage lorsqu’ils organisent un texte. Spero décrit le classifieur profond de Pangram comme une « boîte noire » et précise : « Nous n’avons pas énormément de visibilité sur la raison pour laquelle il fait les prédictions qu’il fait ». Le système signale des expressions suspectes comme indices, mais ce sont surtout des motifs structurels qui attirent son attention. Spero ajoute que les modèles de langage « pourraient être » meilleurs que l’humain moyen en grammaire et en logique, tout en restant beaucoup plus uniformes. Selon sa formulation, si l’on demande à un LLM 100 arguments sur un sujet, ils se concentrent dans une plage étroite, alors que « l’espace des arguments humains » est beaucoup plus varié. L’article présente cette idée comme le cœur de l’évaluation de Pangram : pour tromper l’outil, il ne suffit pas d’écrire proprement, il faut surtout produire des arguments qui ne se ressemblent pas trop. Le texte précise aussi que l’entretien avec Max Spero a été publié sur AI Policy Perspectives.

Pourquoi c’est important

Cette thèse est importante parce qu’elle déplace le débat sur la détection de l’IA du seul style vers la structure argumentative. Autrement dit, un texte peut paraître fluide et grammaticalement solide tout en gardant une signature statistique plus uniforme que l’écriture humaine. Elle rappelle aussi une limite fréquente des modèles de langage : leur capacité à générer rapidement de nombreuses réponses n’implique pas forcément une diversité profonde des raisonnements. Pour les outils de détection comme Pangram, l’enjeu n’est donc pas seulement de repérer des tournures suspectes, mais de détecter des régularités dans la manière dont les idées sont organisées.

Questions fréquentes

Quel est le principe avancé par Max Spero ?

Les modèles de langage peuvent écrire proprement, mais leurs arguments se ressemblent souvent trop, ce qui peut révéler leur origine.

Pourquoi Pangram parle-t-il d’une « boîte noire » ?

Parce que le classifieur fonctionne comme un système dont Pangram ne comprend pas entièrement les raisons internes des prédictions.

Que remarque Pangram dans un texte généré par IA ?

Des motifs structurels et des expressions suspectes qui trahissent la manière dont le document est organisé.

Quel contraste Spero met-il en avant ?

Les humains produisent une diversité d’arguments plus large, alors que les LLM convergent vers une plage plus étroite.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.