OpenAI améliore le codage dans les langages de programmation

Résumé

OpenAI présente des progrès de ses modèles pour développer et migrer des logiciels en COBOL, Fortran et Visual Basic, avec de nouvelles évaluations.

Les faits

OpenAI présente des progrès de ses modèles pour le développement et la migration de logiciels écrits dans des langages disposant de moins de code et de documentation d’entraînement, notamment COBOL, Fortran et Visual Basic. Ces langages restent utilisés pour des infrastructures critiques et des services essentiels. Selon OpenAI, COBOL prend en charge plus de 40 % des systèmes bancaires en ligne, 80 % des transactions par carte effectuées en personne et 95 % des transactions aux distributeurs automatiques. Le Fortran est notamment utilisé pour les prévisions météorologiques et l’analyse de la sûreté des réacteurs nucléaires. Pour mesurer les progrès, OpenAI a développé deux évaluations. MultiLangBench teste la capacité d’un modèle à construire de zéro un moteur de base de données compatible avec SQLite dans 20 langages. Une seconde évaluation mesure la migration de programmes COBOL vers C++, Java, Kotlin, Python ou Rust, tout en préservant leur comportement. À l’effort de raisonnement maximal, GPT‑6 Astra atteint un taux moyen de réussite aux tests de 87,4 % sur les 20 langages, contre 26,8 % pour GPT‑5.6 Sol. Les progrès concernent tous les langages évalués, notamment le COBOL, passé de 10,9 % à 72,1 %, l’OCaml, de 25,6 % à 85,8 %, le Fortran, de 21,4 % à 83,5 %, et le Visual Basic, de 27,5 % à 89,4 %. GPT‑6 Luna atteint 40,3 %, avec un coût moyen estimé de 0,77 dollar par échantillon, contre 3,48 dollars pour GPT‑5.6 Sol. Dans l’évaluation de migration COBOL, GPT‑6.1 Sol atteint 86,6 % de précision avec un faible effort de raisonnement, contre 5,4 % pour GPT‑5.6 Sol, pour un coût égal à 61 % de celui de ce dernier. Avec un effort de raisonnement supérieur, la précision atteint 97,9 %. Les migrations ne sont considérées comme réussies que lorsque tous les tests cachés vérifiant la parité exacte des sorties sont validés.

Pourquoi c’est important

Ces résultats ciblent un obstacle concret de la modernisation informatique : des logiciels anciens dont la documentation peut être incomplète, dont les développeurs d’origine peuvent avoir quitté l’entreprise et dont certaines règles métier ne sont présentes que dans le code. Les modèles évalués cherchent donc à couvrir à la fois la création de logiciels et la préservation du comportement de systèmes existants. L’enjeu est particulièrement marqué pour les environnements financiers et les services essentiels, où une migration peut modifier des règles de calcul ou de traitement des données. L’amélioration de la précision, associée à une baisse des coûts annoncée pour certains modèles, peut faciliter l’évaluation de bases de code écrites dans des langages moins représentés dans les données d’entraînement. OpenAI précise toutefois qu’une application aux logiciels de production nécessite encore une revue experte et des tests portant sur les règles métier et les dépendances du système.

Questions fréquentes

Quels langages sont concernés ?

L’article cite notamment le COBOL, le Fortran, le Visual Basic et l’OCaml, ainsi que 20 langages évalués dans MultiLangBench.

Que mesure MultiLangBench ?

MultiLangBench mesure la capacité à construire de zéro un moteur de base de données compatible avec SQLite dans 20 langages.

Quels modèles obtiennent les meilleurs résultats ?

GPT‑6 Astra atteint 87,4 % de réussite moyenne sur MultiLangBench, tandis que GPT‑6.1 Sol atteint 86,6 % de précision dans la migration COBOL à faible effort de raisonnement.

Vers quels langages le COBOL peut-il être migré ?

L’évaluation teste des migrations du COBOL vers C++, Java, Kotlin, Python ou Rust, avec préservation du comportement.

Quand une migration est-elle considérée comme réussie ?

Elle est considérée comme réussie uniquement lorsque tous les tests cachés vérifiant la parité exacte des sorties sont validés.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.