OpenAI rend son IA opaque, la sécurité alerte

Résumé

OpenAI prépare Astra avec une technique de raisonnement « recurrent depth », dite « opaque recurrence », qui rend la chaîne de pensée moins lisible et inquiète les experts sécurité.

Les faits

OpenAI introduit dans son nouveau modèle Astra une technique de raisonnement baptisée « recurrent depth », également désignée comme « opaque recurrence ». Selon le média The Information, cette approche permet au modèle de s'écarter du schéma de pensée séquentiel qui caractérise la plupart des modèles de raisonnement, ce qui devrait rendre sa chaîne de pensée plus difficile à surveiller. Bien que l'usage de cette technique par Astra soit décrit comme limité, son apparition suffit à susciter de fortes inquiétudes chez les spécialistes de la sécurité de l'IA. Buck Shlegeris, directeur général de Redwood, écrit ainsi qu'il est « extrêmement préoccupé » par le fait qu'Astra utilise l'opaque recurrence et estime que si OpenAI pousse plus loin cette approche, le laboratoire pourrait « détruire totalement » la capacité à surveiller la chaîne de pensée. Dans le même esprit, le militant de longue date pour la sécurité de l'IA Zvi Mowshowitz juge que des lois pourraient être nécessaires pour empêcher une « course vers le bas » entre laboratoires d'IA. Selon lui, la technique « joue avec le feu » en remettant en cause un tabou établi par OpenAI et Anthropic, qui ont cherché à maintenir la fidélité et la surveillabilité de la chaîne de pensée. Sur le plan technique, l'opaque recurrence se distingue des modèles de raisonnement classiques par une approche moins linéaire : le modèle traite plusieurs fois la même requête dans une boucle, ce qui laisse moins de traces lisibles et permet de contourner les enregistrements de chaîne de pensée. À l'inverse, une chaîne de pensée traditionnelle fournit une suite de pas séquentiels qui, même imparfaite, reste un outil précieux pour détecter des comportements problématiques ou des cas de désalignement, comme l'a montré la récente activité d'agents « voyous » d'OpenAI.

Pourquoi c’est important

Les débats autour d'Astra mettent en lumière une tension centrale de la recherche en IA de pointe : la quête de modèles plus puissants et flexibles s'accompagne de techniques de raisonnement qui rendent leur fonctionnement moins transparent pour les humains. En réduisant la lisibilité de la chaîne de pensée, l'opaque recurrence pourrait fragiliser des mécanismes de contrôle aujourd'hui considérés comme essentiels pour comprendre et encadrer les comportements de systèmes très avancés. Les prises de position publiques de figures comme Buck Shlegeris et Zvi Mowshowitz montrent que ces enjeux ne relèvent plus seulement de questions de performance, mais de choix d'architecture susceptibles de redéfinir les normes de sécurité dans l'industrie. Si des laboratoires majeurs adoptent à grande échelle des techniques de raisonnement opaques, la discussion autour de régulations spécifiques et de garanties minimales de surveillabilité pourrait devenir incontournable.

Questions fréquentes

Qu’est-ce que la technique « recurrent depth » utilisée par Astra ?

C’est une forme de « opaque recurrence » qui permet au modèle de s’éloigner d’un raisonnement strictement séquentiel, rendant la chaîne de pensée moins lisible.

Pourquoi cette technique inquiète les experts en sécurité de l’IA ?

Elle réduit la surveillabilité de la chaîne de pensée, ce qui complique la détection de comportements dangereux ou désalignés dans des modèles puissants.

Que dit Buck Shlegeris à propos d’Astra ?

Il se dit « extrêmement préoccupé » et avertit qu’un usage plus intensif de l’opaque recurrence pourrait détruire la surveillabilité de la chaîne de pensée.

Quelle est la position de Zvi Mowshowitz sur cette évolution ?

Il estime que cette technique « joue avec le feu » et appelle à des lois pour éviter une « course vers le bas » entre laboratoires d’IA.

L’usage de l’opaque recurrence dans Astra est-il généralisé ?

Non, l’article précise que l’usage est limité, mais que cette simple introduction suscite déjà des préoccupations importantes.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.