Les IA de cybersécurité freinent les chercheurs

Résumé

Les programmes vetés et garde-fous d’OpenAI et Anthropic compliquent le travail des chercheurs en cybersécurité offensive, qui se tournent vers des modèles open source.

Les faits

Depuis des mois, les grands acteurs de l’IA mettent en place des programmes vetés et des garde-fous stricts pour limiter l’usage de leurs modèles par des pirates malveillants. Ces limitations commencent toutefois à entraver le travail des défenseurs légitimes des réseaux et des chercheurs en cybersécurité offensive. En juin, le gouvernement américain a imposé des contrôles à l’exportation sur les modèles Mythos et Fable d’Anthropic, après un rapport affirmant qu’il était possible de contourner leurs garde-fous conçus pour empêcher la préparation et l’exécution de cyberattaques malveillantes. Anthropic a présenté Mythos comme une sorte de « cybermachine apocalyptique » réservée à des utilisateurs soigneusement sélectionnés, soumis à des garde-fous stricts. Les contrôles à l’export sur Fable 5 et Mythos 5 ont depuis été levés, Fable 5 étant revenu en accès général le 1er juillet, tandis que Mythos 5 n’est réintroduit qu’auprès d’organisations américaines vetées dans le cadre du processus de revue gouvernemental. Anthropic et OpenAI proposent tous deux des programmes dédiés aux chercheurs en cybersécurité, avec un processus de sélection préalable et, en cas d’approbation, un accès à des modèles avec moins de restrictions en matière de cybersécurité : le programme « Trusted Access for Cyber » chez OpenAI et le « Cyber Verification Program » chez Anthropic. Ces garde-fous sont largement critiqués, notamment par les chercheurs dont le métier est de trouver des vulnérabilités inconnues et de concevoir des moyens de les exploiter avant les criminels. Le chercheur Mark Dowd estime qu’« il n’est pas vraiment confortable pour [lui] que de grandes entreprises décident arbitrairement de ce qui est sûr ou non en matière de sécurité ». Chris Anley, directeur scientifique de NCC Group, explique qu’il demande à un modèle d’IA de tenter d’exploiter un bug pour confirmer qu’il s’agit bien d’une vulnérabilité à corriger. Lorsque le garde-fou pousse le modèle à refuser de répondre, cela nuit selon lui aux défenseurs. Il souligne que demander à l’IA de « corriger ce code » est à la fois « un mécanisme essentiel de défense » et « une feuille de route pour trouver des vulnérabilités critiques », rendant impossible de séparer complètement usages offensifs et défensifs. Il compare l’IA à un marteau : outil indispensable pour « construire une maison », mais « irréductiblement une arme » aussi. Face aux blocages, lui et ses collègues se tournent parfois vers des modèles open source dépourvus de garde-fous. Paolo Stagno, directeur technique de Crowdfense, partage ces critiques, estimant que les entreprises d’IA « traitent essentiellement les clients comme des enfants qui ont besoin d’être surveillés » avec leurs programmes vetés et leurs garde-fous. Il indique qu’il utilise les modèles de pointe uniquement pour la rétro-ingénierie, évitant de recourir à l’IA pour trouver des vulnérabilités ou construire des exploits, par crainte de fuite de données sensibles de vulnérabilités ou de leur intégration dans de futurs entraînements. Pour cette étape, il privilégie des modèles open source exécutés localement, sans partage de données hors du modèle. De son côté, le chercheur Giuseppe Cali affirme que les garde-fous ne gênent pas son travail, puisque il n’utilise pas l’IA pour l’offensif, mais pour la rétro-ingénierie initiale, la compréhension du code et la construction d’outils de support, afin de se concentrer sur la découverte de vulnérabilités. Il confie : « je veux toujours garder pour moi la découverte et la militarisation du bug et cela ne changerait pas même si tous les garde-fous étaient levés demain ». Un chercheur travaillant pour un fabricant de composants pour smartphones, s’exprimant anonymement, explique que son employeur ne participe pas au programme CVP d’Anthropic et que, en conséquence, les outils d’Anthropic sont à peine utiles pour trouver des vulnérabilités du fait de garde-fous trop stricts : « si [le modèle] comprend que nous faisons quoi que ce soit en lien avec la sécurité, il s’arrête et devient inutilisable ». Chris Thompson, directeur général de RemoteThreat et fondateur de l’événement Offensive AI Con, constate de son côté que les garde-fous des modèles de pointe peuvent être incohérents et varier d’un jour à l’autre, y compris au sein des programmes vetés d’Anthropic et OpenAI. Selon lui, l’impact pratique est que l’on « passe beaucoup de temps à négocier avec le modèle au lieu de travailler sur le problème ».

Pourquoi c’est important

Cette controverse illustre un dilemme central de la cybersécurité à l’ère de l’IA : les mêmes modèles qui peuvent faciliter des cyberattaques servent aussi de leviers puissants pour détecter et corriger des vulnérabilités avant qu’elles ne soient exploitées. Les garde-fous conçus pour empêcher les abus rendent plus difficile la tâche des professionnels qui doivent, par définition, simuler des comportements d’attaquants pour renforcer la défense. Les témoignages de chercheurs décrivant leur bascule vers des modèles open source sans garde-fous montrent un déplacement concret de la pratique vers des outils moins encadrés, avec des implications en matière de confidentialité des données et de contrôle des usages. Les critiques envers les programmes vetés d’Anthropic et OpenAI soulignent la tension entre nécessité de réguler l’usage offensif des modèles et besoin, pour l’écosystème de cybersécurité, d’un accès flexible aux capacités complètes des IA pour protéger effectivement les systèmes.

Questions fréquentes

Pourquoi les garde-fous des IA posent problème aux chercheurs offensifs ?

Ils poussent les modèles à refuser des tâches d’exploitation de bugs, ce qui nuit à la validation de vulnérabilités et ralentit le travail défensif.

Que reproche Mark Dowd aux grandes entreprises de l’IA ?

Il critique le fait que des sociétés décident arbitrairement de ce qui est sûr ou non en matière de sécurité, ce qui le met mal à l’aise.

Comment Chris Anley utilise l’IA en cybersécurité ?

Il demande aux modèles d’exploiter des bugs pour confirmer qu’il s’agit de vulnérabilités à corriger, et se tourne vers l’open source en cas de blocage.

Pourquoi Paolo Stagno évite d’utiliser l’IA pour trouver des vulnérabilités ?

Il craint que des données sensibles de vulnérabilités soient partagées via le cloud ou réutilisées lors de futurs entraînements des modèles.

Que dit Chris Thompson sur le fonctionnement des garde-fous ?

Il constate qu’ils sont incohérents et changeants, obligeant à « négocier avec le modèle » plutôt que de travailler sur le problème.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.