OpenAI alerte sur les failles du benchmark de code

Résumé

OpenAI a audité le benchmark de programmation SWE‑Bench Pro et estime qu’environ 30 % des tâches sont « cassées », remettant en cause la fiabilité des évaluations de modèles.

Les faits

OpenAI rappelle que la mesure précise des capacités de ses modèles est centrale pour les décisions de déploiement et de sécurité, notamment dans le cadre de son Preparedness Framework. L’entreprise souligne qu’un benchmark défectueux peut « donner une fausse compréhension des capacités, déformer les arguments de sécurité et influencer les priorités de recherche ». Après avoir constaté que SWE‑bench Verified présentait des problèmes fondamentaux de conception et de contamination au point de ne plus fournir de signal significatif sur les capacités de développement logiciel, OpenAI avait encouragé la communauté à basculer vers SWE‑Bench Pro. Ce dernier était conçu pour tester les modèles sur des horizons plus longs et des tâches de programmation plus réalistes, avec des tâches extraites automatiquement de l’historique de modifications de fonctionnalités dans des dépôts publics et privés. OpenAI a ensuite mené un audit similaire sur SWE‑Bench Pro en s’appuyant sur un pipeline d’analyse par point de donnée. Ce pipeline a examiné les tentatives de résolution des modèles, les métadonnées des tâches et les traces d’échec pour signaler les défauts d’évaluation. Les tâches marquées ont été évaluées à travers plusieurs passages d’agents enquêteurs, puis examinées indépendamment par cinq ingénieurs logiciels expérimentés. Cette revue combinée a mis en évidence des problèmes majeurs dans une part significative du jeu de données. Le pipeline d’analyse a signalé 200 tâches cassées, soit 27,4 % du total, tandis que la campagne d’annotation humaine en a identifié 249, soit 34,1 %. OpenAI estime ainsi qu’environ 30 % des tâches de SWE‑Bench Pro sont cassées et recommande aux développeurs de modèles d’examiner attentivement les résultats obtenus sur ce benchmark.

Pourquoi c’est important

Les problèmes identifiés dans SWE‑Bench Pro illustrent la difficulté de construire des benchmarks « durs mais équitables » pour mesurer les capacités de programmation des modèles d’IA. OpenAI met en avant quatre catégories de défauts récurrents : des tests excessivement stricts qui imposent des détails d’implémentation non spécifiés dans l’énoncé et invalident des solutions fonctionnellement correctes ; des énoncés sous‑spécifiés qui omettent des exigences vérifiées par des tests cachés et non raisonnablement déductibles ; des tests à faible couverture qui sous‑contrôlent la fonctionnalité demandée et laissent passer des corrections incomplètes ; enfin, des énoncés trompeurs qui orientent les modèles vers un comportement erroné ou contradictoire avec les tests. Pour OpenAI, ces résultats ne remettent pas seulement en cause un benchmark en particulier, ils soulignent aussi l’importance croissante des agents dans les contrôles de qualité des données à grande échelle. L’entreprise insiste sur le fait que les échecs de tâches doivent refléter de véritables limites des modèles, et les succès des solutions complètes et valides. À l’inverse, des tâches cassées brouillent la frontière entre signal et bruit, compliquant les décisions de déploiement et les analyses de sécurité, et imposent une vigilance accrue à tous les acteurs qui s’appuient sur des scores de benchmarks pour juger des performances des modèles.

Questions fréquentes

Que reproche OpenAI au benchmark SWE‑Bench Pro ?

OpenAI estime qu’environ 30 % des tâches de SWE‑Bench Pro sont cassées en raison de tests, énoncés et consignes de correction défaillants.

Combien de tâches ont été identifiées comme problématiques ?

Le pipeline a signalé 200 tâches cassées (27,4 %) et la campagne humaine en a identifié 249 (34,1 %).

Quelles sont les principales catégories de défauts trouvés ?

Tests trop stricts, énoncés sous‑spécifiés, tests à faible couverture et énoncés trompeurs.

Comment OpenAI a‑t‑il audité SWE‑Bench Pro ?

Via un pipeline automatisé d’analyse, des agents enquêteurs supervisés et une campagne d’annotation par cinq ingénieurs par tâche.

Que recommande OpenAI aux développeurs de modèles ?

OpenAI les invite à examiner avec prudence et en détail les résultats obtenus sur SWE‑Bench Pro.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.