Des modèles d’IA refusent d’aider des équipes de cybersécurité

Résumé

Des modèles d’IA ont cessé d’assister OpenCode pendant l’enquête sur une compromission, relançant le débat entre sécurité des usages et efficacité défensive.

Les faits

Les équipes de sécurité rencontrent un problème inédit : les modèles d’IA utilisés pour enquêter sur des attaques peuvent soudainement refuser d’apporter leur aide. Les garde-fous intégrés aux modèles les plus puissants peuvent ainsi bloquer les défenseurs au milieu d’une investigation, les contraignant à chercher rapidement des solutions de remplacement. OpenCode, un agent de programmation open source fondé sur l’IA, a déclaré avoir été compromis durant le week-end. Des attaquants ont obtenu des clés d’API appartenant à certains clients, notamment pour des services d’OpenAI, d’Anthropic et de Google. L’entreprise a indiqué que la faille était « liée à une attaque de distillation à grande échelle qui a touché 1,4 % des utilisateurs d’OpenCode Console ». Dax Raad, cofondateur d’OpenCode, a déclaré que les attaquants avaient ciblé les systèmes de l’entreprise pendant 48 heures sans interruption, obligeant ses propres agents d’IA à fonctionner en continu pour répondre à l’attaque. OpenAI, Google et Anthropic ont travaillé avec les clients concernés afin de révoquer les clés d’API exposées et de traiter les frais liés aux usages non autorisés. Selon Dax Raad, les modèles d’IA de pointe ont d’abord contribué à l’enquête avant de « commencer à refuser ». Leurs restrictions de sécurité ont ensuite bloqué des demandes portant sur du code potentiellement malveillant, alors même qu’OpenCode cherchait à défendre ses propres systèmes. L’entreprise a finalement obtenu l’accès au programme Daybreak Blue d’OpenAI, destiné aux défenseurs de la cybersécurité évalués et leur donnant accès à des modèles soumis à moins de restrictions.

Pourquoi c’est important

L’incident met en évidence une tension structurelle pour les équipes de cybersécurité : les modèles propriétaires les plus puissants disposent de garde-fous conçus pour empêcher les abus, mais ces mêmes mécanismes peuvent interrompre une enquête légitime lorsque celle-ci implique du code potentiellement malveillant. Les organisations doivent donc arbitrer entre des modèles propriétaires fortement encadrés et des modèles à poids ouverts, qui offrent davantage de contrôle sur leur déploiement. Chris Jones, directeur technique de Nightwing, estime que les équipes devront trouver un équilibre entre la rapidité des défenses assistées par l’IA et les restrictions destinées à empêcher les attaquants d’exploiter ces capacités.

Questions fréquentes

Pourquoi les modèles d’IA ont-ils refusé d’aider OpenCode ?

Leurs restrictions de sécurité ont bloqué des demandes portant sur du code potentiellement malveillant, malgré l’objectif défensif de l’enquête.

Quelle attaque a touché OpenCode ?

OpenCode a évoqué une attaque de distillation à grande échelle ayant touché 1,4 % des utilisateurs d’OpenCode Console.

Quelles clés ont été exposées ?

Des attaquants ont obtenu des clés d’API liées à des services d’OpenAI, d’Anthropic et de Google.

Quelle solution OpenCode a-t-elle obtenue ?

OpenCode a obtenu l’accès au programme Daybreak Blue d’OpenAI, qui propose aux défenseurs évalués des modèles soumis à moins de restrictions.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.