Satya Nadella veut un frein d'urgence pour l'IA

Résumé

Le PDG de Microsoft veut séparer les modèles de leur orchestration, documenter leurs actions et permettre à un humain de les arrêter en cours de tâche.

Les faits

Dans une publication matinale sur X, Satya Nadella, PDG de Microsoft, a estimé qu’il était temps de « prendre du recul et d’évaluer l’architecture de confiance » de l’intelligence artificielle. Le dirigeant a rejeté l’idée de traiter la « superintelligence » comme un ensemble de boîtes noires imbriquées dont les recommandations, réponses et actions seraient simplement acceptées ou refusées. Il préconise de séparer le modèle du dispositif chargé d’orchestrer son travail et d’externaliser les contrôles ainsi que les garde-fous. Satya Nadella demande également que « chaque action importante du modèle » soit consignée dans des preuves lisibles par l’être humain et protégées contre toute altération. Il souhaite en outre qu’une personne autorisée puisse toujours « mettre en pause ou arrêter un modèle en pleine tâche ». « Nous devons partir du principe qu’un modèle est compromis et le contenir dès le départ », a-t-il écrit, avant de résumer son approche par une image : « Pensez-y comme à un frein d’urgence. »

Pourquoi c’est important

La proposition place la contrôlabilité au cœur de l’architecture des systèmes d’IA. Le modèle ne serait plus considéré comme un bloc autonome : son environnement d’exécution, ses protections, ses traces d’activité et la capacité d’intervention humaine deviendraient des composantes distinctes de la sécurité. Cette orientation intervient alors que des entreprises de premier plan du secteur de l’IA reconnaissent davantage d’incidents au cours desquels elles semblent avoir perdu le contrôle de leurs modèles. Elle fait aussi écho au plan en faveur d’un développement plus prudent publié par Dario Amodei, PDG d’Anthropic.

Questions fréquentes

Que propose Satya Nadella pour sécuriser les modèles d’IA ?

Il propose de séparer le modèle de son orchestration, d’externaliser les contrôles et de prévoir une intervention humaine capable d’interrompre le système.

Que doivent documenter les systèmes d’IA ?

Chaque action importante du modèle doit être consignée dans des preuves lisibles par l’être humain et protégées contre toute altération.

Qui doit pouvoir arrêter un modèle en cours de tâche ?

Une personne autorisée doit toujours pouvoir mettre en pause ou arrêter le modèle en pleine tâche.

Quelle image Satya Nadella utilise-t-il ?

Il compare ce dispositif à un « frein d’urgence » permettant de contenir un modèle dès le départ.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.