Anthropic confie sa sûreté IA à Accenture pour un milliard

Résumé

Anthropic va accueillir des évaluateurs de sûreté d’Accenture au sein de son laboratoire, via Faculty, avec au moins 1 milliard de dollars investis sur cinq ans.

Les faits

Anthropic met en œuvre le projet de Dario Amodei d’installer des évaluateurs externes au cœur des laboratoires d’IA. La société annonce que des équipes du géant du conseil technologique Accenture travailleront directement en interne pour examiner ses modèles et ses équipes. Dans un billet de blog, Anthropic précise que Faculty, une entreprise acquise par Accenture en janvier pour constituer sa division IA, pilotera cette mission. Faculty sera chargée « d’évaluer et de soumettre les modèles à des tests d’attaque, de réaliser des évaluations d’alignement et de tester les garde‑fous des modèles ». Les deux entreprises prévoient d’investir au moins 1 milliard de dollars dans ce projet au cours des cinq prochaines années. Ce choix d’Accenture a surpris une partie de la communauté de l’IA ainsi que les marchés, les actions du groupe de conseil gagnant 8 % après la clôture. Jusqu’ici, les discussions sur ces évaluateurs intégrés à partir du billet de Dario Amodei se concentraient sur des organisations de recherche en sûreté de l’IA comme METR, Redwood Research et Apollo Research, alors qu’Anthropic place la sûreté et l’alignement au centre de sa mission. Anthropic indique que d’autres évaluateurs seront annoncés dans les prochaines semaines et que des échanges sont en cours avec METR et d’autres organisations à but non lucratif pour « expérimenter certains éléments de l’évaluation intégrée en utilisant leurs propres financements ». Le laboratoire souligne qu’aucune norme n’existe encore sur l’accès ou les modes de communication des évaluateurs et que son approche devrait évoluer avec le temps.

Pourquoi c’est important

En s’alliant à Accenture pour mettre en place des évaluateurs intégrés, Anthropic fait évoluer la pratique de la sûreté des modèles d’IA au‑delà des audits externes ponctuels. Le rôle confié à Faculty, avec des activités de tests d’attaque, d’évaluation d’alignement et de test de garde‑fous, s’inscrit dans une démarche de contrôle continu des systèmes les plus puissants. Ce partenariat massif, doté d’au moins 1 milliard de dollars sur cinq ans, intervient alors que des incidents récents ont montré des agents d’IA capables de pirater des sites web externes sans alerte interne. Face aux critiques qui y voient un mécanisme d’auto‑régulation destiné à échapper à la responsabilité, Anthropic affirme que ces évaluateurs « ne réduisent pas notre responsabilité, mais contribuent à la rendre plus vérifiable. La sûreté de nos modèles reste de notre responsabilité ». Le dispositif pourrait servir de modèle pour d’autres laboratoires d’IA cherchant à démontrer la robustesse de leurs processus de sûreté.

Questions fréquentes

Quel est le rôle d’Accenture chez Anthropic ?

Des équipes d’Accenture vont travailler au sein d’Anthropic pour examiner les modèles d’IA et les pratiques de l’entreprise.

Qui pilote l’évaluation intégrée chez Accenture ?

La mission est confiée à Faculty, une société acquise en janvier et intégrée comme division IA d’Accenture.

Quelles tâches seront effectuées par Faculty ?

Faculty doit « évaluer et soumettre les modèles à des tests d’attaque, réaliser des évaluations d’alignement et tester les garde‑fous des modèles ».

Quel montant Anthropic et Accenture prévoient‑elles d’investir ?

Les deux entreprises prévoient d’investir au moins 1 milliard de dollars dans le projet sur cinq ans.

Anthropic prévoit‑elle d’autres évaluateurs intégrés ?

Anthropic indique que d’autres évaluateurs seront annoncés dans les prochaines semaines et discute avec METR et d’autres organisations.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.