OpenAI dissout son équipe anti-risques catastrophiques

Résumé

OpenAI a discrètement dissous son équipe « Preparedness », chargée d’évaluer les risques catastrophiques de ses modèles, et a réparti ses missions sécurité entre d’autres équipes internes.

Les faits

OpenAI a mis fin, fin juillet, à son équipe « Preparedness », chargée d’évaluer si les modèles d’IA de l’entreprise pouvaient présenter des risques graves ou catastrophiques. Selon des sources internes citées, cette unité avait pour mission explicite d’identifier les scénarios de dérive extrême liés aux systèmes développés en interne. Après cette dissolution, les travaux menés sur les risques biologiques et cyber ont été redistribués à des équipes existantes. L’article précise que le travail de l’ancien responsable de l’unité, Dylan Scandinaro, porte désormais sur les risques de sécurité liés à des systèmes d’IA « à auto-amélioration récursive », capables de s’optimiser eux-mêmes et d’entraîner d’autres modèles. Le cofondateur Greg Brockman affirme de son côté qu’OpenAI a intégré plus étroitement les activités de sécurité au processus de développement des modèles. Parallèlement, plusieurs membres des équipes dédiées à la sécurité ont récemment quitté l’entreprise, parmi lesquels la Chief Ethics Officer Chloe Bakalar et Joshua Achiam. En interne, le climat se tend. Une source décrit « un sentiment diffus de responsabilité et d’effroi » face à l’idée qu’OpenAI ne ferait pas assez en matière de sécurité. Des employés ont également pris la parole publiquement, notamment après un incident de piratage autonome impliquant Hugging Face ; l’un d’eux explique espérer que cet épisode sera traité comme un « tir de semonce ».

Pourquoi c’est important

La dissolution de l’équipe « Preparedness » intervient alors que les grands laboratoires d’IA sont sous pression pour démontrer qu’ils prennent réellement au sérieux les risques extrêmes liés à leurs technologies. Le fait de confier à d’autres équipes la surveillance des risques biologiques et cyber, et de concentrer l’expertise de Dylan Scandinaro sur les systèmes à auto-amélioration récursive, marque un basculement vers un modèle où la sécurité est davantage intégrée au développement que centralisée dans une unité dédiée. Cependant, les départs répétés de profils clés de la sécurité, le témoignage d’un « sentiment diffus de responsabilité et d’effroi » et les réactions à l’incident de piratage autonome autour de Hugging Face soulignent une inquiétude croissante en interne. Cette réorganisation devient ainsi un test critique : elle doit prouver qu’OpenAI peut maintenir, voire renforcer, sa vigilance sur les risques sérieux ou catastrophiques tout en renonçant à une équipe explicitement conçue pour les anticiper et les bloquer.

Questions fréquentes

Qu’était l’équipe « Preparedness » d’OpenAI ?

C’était une équipe chargée d’évaluer si les modèles d’IA d’OpenAI pouvaient présenter des risques graves ou catastrophiques pour la société.

Quand OpenAI a-t-il dissous l’équipe « Preparedness » ?

OpenAI a mis fin à son équipe « Preparedness » à la fin du mois de juillet, selon l’article qui cite des sources internes.

Que deviennent les travaux sur les risques biologiques et cyber ?

Leurs missions ont été réparties entre des équipes existantes, qui reprennent l’évaluation des risques biologiques et cyber liés aux modèles d’OpenAI.

Quel est le nouveau rôle de Dylan Scandinaro ?

L’ancien responsable de l’unité se consacre désormais aux risques de sécurité liés à des systèmes d’IA « à auto-amélioration récursive ».

Pourquoi des employés d’OpenAI s’inquiètent-ils de la sécurité ?

Des sources internes évoquent un « sentiment diffus de responsabilité et d’effroi » et des employés ont réagi à un incident de piratage autonome impliquant Hugging Face.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.