Les LLM juges de nouveauté restent fragiles pour évaluer les idées

Résumé

Une étude d’Ai2 montre que de légères modifications du protocole peuvent bouleverser le jugement des LLM sur la nouveauté d’une idée scientifique.

Les faits

Ai2 publie « Old Ideas, Novel Problems », une étude consacrée à la fiabilité des grands modèles de langage lorsqu’ils évaluent la nouveauté d’idées de recherche scientifique. L’équipe met également à disposition un jeu de référence, des données, du code et un pipeline automatisé destiné à construire de nouveaux ensembles d’évaluation. L’étude examine six modèles utilisés comme juges de nouveauté : GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6. Ces systèmes doivent déterminer si une idée est nouvelle au regard des travaux antérieurs, soit individuellement, soit en la comparant à une autre idée. Les résultats montrent que de petites modifications du dispositif d’évaluation peuvent produire des jugements très différents sur les mêmes idées. Dans une expérience, le simple changement de quelques mots dans une invite modifie de plus de 50 points de pourcentage la précision d’un modèle pour identifier laquelle de deux idées est la plus originale. La récupération documentaire et l’ajout de raisonnement n’améliorent pas systématiquement les évaluations. Deux systèmes conçus spécifiquement pour juger la nouveauté obtiennent même de moins bons résultats qu’une simple invite adressée à Claude Opus 4.6. Sur l’ensemble « Human+Generated », une invite simple utilisant Claude Opus 4.6, un faible niveau de raisonnement et un vote majoritaire sur trois appels atteint un score macro-F1 de 0,854, pour un coût total d’évaluation de 2,59 dollars.

Pourquoi c’est important

Ces résultats fragilisent l’idée selon laquelle un LLM pourrait servir d’arbitre fiable de l’originalité scientifique sans protocole soigneusement contrôlé. Le verdict dépend fortement du modèle, de l’invite, du format d’évaluation, du budget de raisonnement et, parfois, du système de recherche documentaire utilisé. L’enjeu dépasse la comparaison entre modèles. Si des systèmes d’IA participent à la découverte scientifique, leur capacité à distinguer une piste réellement nouvelle d’une reformulation de travaux existants devient une condition centrale de leur utilité. Le banc d’essai d’Ai2 fournit des outils pour mesurer cette difficulté, tout en soulignant que l’évaluation automatisée de la nouveauté reste à fiabiliser.

Questions fréquentes

Que mesure l’étude d’Ai2 ?

Elle évalue la fiabilité des grands modèles de langage lorsqu’ils jugent la nouveauté d’idées de recherche scientifique.

Quels modèles ont été testés ?

GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6.

Quel effet produisent de petites modifications de l’invite ?

Dans une expérience, quelques mots supplémentaires ou modifiés changent de plus de 50 points de pourcentage la précision d’un modèle.

La récupération documentaire améliore-t-elle toujours les résultats ?

Non. La récupération documentaire et le raisonnement supplémentaire n’améliorent pas systématiquement les jugements.

Quel score atteint Claude Opus 4.6 dans un protocole simple ?

Sur l’ensemble « Human+Generated », le protocole atteint un score macro-F1 de 0,854, pour un coût total de 2,59 dollars.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.