Avec Rampart et Clarity, Microsoft veut ancrer la sécurité des agents IA au cœur du développement

Résumé

Microsoft met en open source deux outils de red teaming, Rampart et Clarity, pour aider développeurs et équipes de réponse à incident à sécuriser les logiciels « agentiques ». Rampart teste en continu le code pendant le développement, tandis que Clarity fournit des recommandations de sécurité en temps réel dès la phase de conception.

Les faits

Microsoft a dévoilé deux nouveaux outils de red teaming, Rampart et Clarity, décrits comme « une paire d’outils de sécurité destinés aux développeurs et aux intervenants en cas d’incident ». L’objectif est d’aider à « concevoir des logiciels agentiques plus sûrs » et à soutenir les équipes face à des compromissions en cours. Rampart est construit au‑dessus de PyRIT, « un cadre d’automatisation open source existant » développé par Microsoft pour le red teaming de systèmes d’IA générative. Là où PyRIT examine des systèmes déjà en production, Rampart « est conçu pour tester en continu le code à la recherche de vulnérabilités pendant le processus de développement », en intégrant des scénarios de test adverses et bénins dans le pipeline logiciel pour signaler bugs exploitables et dépendances. Microsoft indique que Rampart cible en particulier les attaques de type « cross‑prompt injection », lorsque « un agent récupère ou traite un contenu potentiellement empoisonné à partir de documents, e‑mails, tickets et d’autres sources de données qui manipulent son comportement de manière indirecte ». L’outil vérifie également que les correctifs et exploits fonctionnent comme prévu « à travers plusieurs cycles de tests », à l’inverse des approches de « validation en un seul tir ». Le second outil, Clarity, peut « être exécuté comme une application de bureau, une interface web ou être directement intégré dans un agent de codage » pour offrir « des conseils d’ingénierie de sécurité en temps réel » dès le début d’un projet. Il permet de catégoriser et suivre différents objectifs métier liés au code, de mettre en évidence les implications de sécurité en aval et de proposer des alternatives plus sûres dès la conception. Ram Shankar Siva Kumar, fondateur de l’équipe de red teaming IA de Microsoft en 2019, explique que l’entreprise « a constaté des bénéfices de sécurité internes » en utilisant ces outils, tout en soulignant que leur développement futur dépendra des contributions de la communauté en dehors de l’écosystème Microsoft.

Pourquoi c’est important

En mettant Rampart et Clarity à disposition des développeurs et des équipes de réponse à incident, Microsoft cherche à instaurer des processus de sécurité spécifiquement adaptés aux agents IA, directement dans le cycle de vie logiciel. L’accent mis sur les attaques de cross‑prompt injection répond à une menace émergente liée aux agents qui ingèrent des contenus potentiellement malveillants issus de multiples sources. Dans « un monde de l’IA en évolution rapide » marqué par le « vibe coding », des agents IA difficiles à contrôler et un flux constant de nouveaux modèles créant « des implications de sécurité presque chaque semaine », la démarche vise à bâtir des mécanismes de sécurité fondamentaux et centrés sur l’IA. L’ambition est de passer d’une validation ponctuelle à une sécurité continue, et de s’appuyer sur une communauté ouverte pour renforcer ces outils au‑delà du seul périmètre de Microsoft.

Questions fréquentes

Qu’est‑ce que Rampart ?

Rampart est un outil de red teaming construit au‑dessus de PyRIT, conçu pour tester en continu le code pendant le développement, en intégrant des scénarios adverses et bénins afin d’identifier bugs exploitables, dépendances et attaques de cross‑prompt injection.

À quoi sert Clarity ?

Clarity fournit des conseils d’ingénierie de sécurité en temps réel aux développeurs. Exécutable en application de bureau, interface web ou intégré à un agent de codage, il aide à relier objectifs métier, implications de sécurité et alternatives plus sûres dès la conception.

En quoi Rampart se distingue‑t‑il de PyRIT ?

PyRIT sert à automatiser le red teaming de systèmes d’IA générative déjà construits, tandis que Rampart s’appuie sur ce cadre pour tester en continu le code pendant le développement et vérifier, via plusieurs cycles de tests, que correctifs et exploits fonctionnent comme prévu.

Quels types d’attaques Rampart cible‑t‑il ?

Rampart met l’accent sur les attaques de cross‑prompt injection, lorsque un agent traite des contenus potentiellement empoisonnés (documents, e‑mails, tickets, etc.) qui manipulent indirectement son comportement.

Pourquoi Microsoft mise‑t‑il sur l’open source pour ces outils ?

Selon Ram Shankar Siva Kumar, Microsoft a constaté des bénéfices internes en matière de sécurité avec Rampart et Clarity, mais leur développement futur repose sur les contributions de développeurs en dehors de l’écosystème Microsoft.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.