Les scientifiques humains surpassent les meilleurs agents d'IA sur des tâches complexes

Les faits

Des chercheurs ont démontré que les humains excellent encore largement face aux agents d'IA les plus avancés dans l'exécution de tâches complexes. Selon une étude publiée dans Nature, des scientifiques humains ont résolu des problèmes multidisciplinaires en un temps record, surpassant de loin les performances des modèles comme GPT-4o ou Claude 3.5 Sonnet. Dans un benchmark baptisé GAIA, les humains ont obtenu un taux de réussite de 92 % sur des tâches impliquant raisonnement, recherche web et codage, contre seulement 15 % pour les meilleurs agents IA. L'expérience, menée par une équipe internationale, consistait en des énigmes nécessitant une combinaison de compétences cognitives élevées. Les participants humains, sélectionnés parmi des experts, ont complété les défis en moyenne 3,5 fois plus rapidement que les IA. « Les agents IA peinent sur des tâches qui demandent une compréhension nuancée du monde réel », explique un des auteurs principaux, soulignant les limites actuelles en matière d'adaptation et de créativité. Malgré des progrès récents, comme l'intégration d'outils externes pour la navigation web ou l'exécution de code, les IA échouent systématiquement sur 70 % des cas complexes testés. L'étude met en lumière un écart persistant : les humains mobilisent intuition et expérience transversale, là où les IA dépendent rigidement de leurs données d'entraînement. Ces résultats, basés sur plus de 500 tâches évaluées, confirment que l'IA générale reste un objectif lointain, même avec des modèles multimodaux de pointe.

Pourquoi c’est important

Cette avancée remet en question l'enthousiasme excessif autour des agents IA autonomes, souvent présentés comme prêts à remplacer les experts humains dans des domaines critiques comme la recherche scientifique ou l'analyse stratégique. Elle souligne la nécessité d'une approche hybride, où l'IA assiste sans supplanter l'intelligence humaine, évitant ainsi des investissements mal calibrés dans des technologies encore immatures. Sur le plan stratégique, ces findings orientent les priorités des laboratoires et entreprises : accent sur l'amélioration de la robustesse des IA face à l'incertitude et à la complexité réelle, plutôt que sur une simple augmentation de la puissance de calcul. Pour la France et l'Europe, cela renforce l'intérêt de miser sur la formation humaine couplée à l'IA, préservant une souveraineté technologique face à la domination américaine.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.