L'IA découvre des failles, l'humain reste essentiel

Résumé

Le chercheur James Kettle montre que les IA agentiques restent limitées en autonomie, mais deviennent redoutables pour inventer de nouvelles techniques de piratage avec l’aide d’experts humains.

Les faits

Les systèmes d’IA agentiques ont profondément modifié la cybersécurité en accélérant la découverte de vulnérabilités et la création d’exploits, mais leurs capacités restent contrastées pour inventer seuls de nouvelles méthodes d’attaque. Dans une présentation à la conférence Black Hat de Las Vegas, le chercheur en sécurité web James Kettle conclut que l’IA est « minimalement capable » mais « extrêmement limitée » pour concevoir de nouveaux vecteurs d’attaque de manière pleinement autonome. Kettle a mené plusieurs mois d’expérimentations à partir de septembre 2025, en s’appuyant sur les modèles les plus récents d’Anthropic et d’OpenAI dans son domaine de prédilection, la sécurité des applications web. Il décrit un véritable « bouclage de recherche » où les systèmes d’IA produisent des pistes de vulnérabilités à un rythme bien supérieur au sien, au point de générer chez lui un « FOMO » face au volume de résultats à analyser. En affinant ses paramètres et en entraînant les modèles sur sa propre méthodologie, il cherche à pousser l’IA « à la limite absolue pour voir où elle échoue et où vous avez besoin d’un humain ». De cette démarche émerge une découverte majeure qu’il baptise « Shared-Parser Confusion », une nouvelle zone potentielle de vulnérabilité liée au recours à un même code serveur pour traiter à la fois les requêtes et les réponses web. Kettle insiste sur le fait que les requêtes envoyées à un site sont « complètement non fiables » tandis que les réponses sont considérées comme « fiables », ce qui ouvre un « important vecteur d’attaque » pouvant « se diffuser dans de nombreux types d’attaques ». Cette classe de failles, qu’il n’aurait « jamais trouvée » seul, illustre selon lui la puissance de la collaboration humain/IA. Le chercheur souligne que le système d’IA n’a pas été capable de démontrer seul l’exploit : il a formulé une hypothèse en analysant des résultats déjà prouvés, puis Kettle l’a évaluée et confirmée. Il estime que cette découverte collaborative est « probablement » celle qui aura « le plus grand impact à long terme », tout en rappelant que l’IA a aussi identifié une autre classe de bugs très rare qui n’était pas exploitable sur la seule cible vulnérable disponible. Pour Kettle, ces travaux montrent la réalité actuelle de l’IA en cybersécurité : un partenaire extrêmement puissant pour imaginer de nouvelles stratégies d’attaque, mais encore dépendant de l’expertise humaine pour valider et transformer ces idées en attaques concrètes.

Pourquoi c’est important

Les résultats présentés par James Kettle contribuent à nuancer le débat sur les capacités des IA agentiques en cybersécurité. Ils montrent que, malgré les démonstrations récentes d’attaques menées par des systèmes d’IA, la véritable menace émergente réside dans la synergie entre automatisation à grande échelle et jugement humain, plutôt que dans une autonomie totale des modèles. En pratique, l’IA se révèle capable de générer en continu des hypothèses et des pistes de recherche que les experts n’auraient pas identifiées seuls. Cette approche hybride redéfinit le travail des chercheurs comme des attaquants : la machine fournit un flux rapide de signaux faibles, l’humain filtre, valide et conceptualise de nouvelles classes de vulnérabilités, comme la « Shared-Parser Confusion ». Pour les équipes de défense comme pour les régulateurs, ces travaux soulignent que la priorité ne doit pas seulement porter sur la sécurité des modèles eux-mêmes, mais aussi sur la manière dont ils sont intégrés dans des processus de recherche et d’exploitation, avec des garde-fous humains capables d’orienter et de contrôler leur usage offensif.

Questions fréquentes

Quel est l’objectif des travaux de James Kettle sur l’IA en cybersécurité ?

Il cherche à voir jusqu’où l’IA peut aller seule en recherche de vulnérabilités et à identifier les moments où l’intervention humaine reste indispensable.

Que signifie la vulnérabilité « Shared-Parser Confusion » ?

Elle désigne des failles liées à l’usage d’un même code serveur pour traiter requêtes non fiables et réponses considérées comme fiables.

L’IA peut-elle inventer de nouvelles techniques de piratage de façon autonome ?

Kettle conclut que l’IA est seulement minimalement capable et très limitée pour concevoir seule de nouveaux chemins d’attaque.

Comment l’IA a aidé à découvrir Shared-Parser Confusion ?

Le système a formulé une hypothèse en analysant des résultats existants, puis Kettle l’a testée et confirmée manuellement.

Pourquoi Kettle parle d’un « bouclage de recherche » avec l’IA ?

Parce que les modèles produisent des pistes de vulnérabilités à un rythme qui dépasse le sien, alimentant en continu ses travaux.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.