Les entreprises admettent un défi de responsabilité avec l'IA

Résumé

Les entreprises doivent encadrer les accès, les décisions et la responsabilité des agents d’IA avant leur déploiement dans les processus sensibles.

Les faits

Les entreprises qui adoptent l’IA agentique ont besoin de contrôles précis sur ce que les agents peuvent consulter et accomplir, ainsi que sur la responsabilité de leurs décisions. C’est le constat formulé par Aaron Levie, cofondateur et directeur général de Box, et Navrina Singh, fondatrice et directrice générale de Credo AI. Lors d’un événement Axios Live organisé le 8 octobre à San Francisco, les deux dirigeants ont souligné que de meilleurs modèles ne suffiraient pas à rendre l’IA fiable dans les processus d’entreprise à forts enjeux. Les organisations doivent notamment gérer l’accès aux données, la confidentialité, la conformité et la responsabilité juridique. L’événement était parrainé par IBM. Navrina Singh estime que la gouvernance n’en est encore qu’aux « premières étapes » de sa prise en compte par les entreprises et juge le statu quo inadéquat. Elle a également déclaré : « Les investisseurs en capital-risque investissent-ils suffisamment dans les entreprises spécialisées dans la sécurité de la gouvernance ? Absolument pas. » Aaron Levie a prévenu que la diffusion de l’IA « prendra plus de temps que beaucoup ne le pensent », le temps pour les organisations de déterminer quand un humain doit intervenir, quelle part du travail revient à la personne ou à l’agent, et quelles règles de responsabilité doivent s’appliquer. Richard Socher, cofondateur et directeur général de You.com et de Recursive, a ajouté que l’IA pourrait accélérer la recherche scientifique, tout en appelant à traiter le « reward hacking » et d’autres problèmes de sécurité. Pour Levie, la question « de plusieurs milliers de milliards de dollars » consiste à savoir si l’alignement et la sécurité de l’IA peuvent être résolus.

Pourquoi c’est important

L’essor de l’IA agentique déplace le débat au-delà de la performance des modèles. Dans les environnements sensibles, la question centrale devient la définition des permissions, du contrôle humain et de la responsabilité lorsque l’agent agit ou prend une décision. Cette problématique concerne aussi la souveraineté numérique. Jonathan Adashek, vice-président principal et directeur mondial des affaires publiques d’IBM, a appelé les dirigeants à considérer l’ensemble de l’écosystème : l’emplacement des données, celui de l’IA, le niveau de contrôle et les dépendances de l’entreprise. La gouvernance apparaît ainsi comme une condition opérationnelle du déploiement, et non comme une étape secondaire.

Questions fréquentes

Quels contrôles les entreprises doivent-elles mettre en place pour l’IA agentique ?

Elles doivent contrôler ce que les agents peuvent accéder et faire, ainsi que la responsabilité liée à leurs décisions.[1]

Pourquoi de meilleurs modèles ne suffisent-ils pas ?

Les entreprises doivent aussi gérer l’accès aux données, la confidentialité, la conformité et la responsabilité dans les processus à forts enjeux.[1]

Que signifie le déficit de gouvernance évoqué lors de l’événement ?

Navrina Singh estime que la gouvernance n’en est encore qu’aux premières étapes de sa prise en compte par les entreprises.[1]

Quels problèmes de sécurité Richard Socher mentionne-t-il ?

Il cite notamment le « reward hacking » et d’autres défis de sécurité auxquels les développeurs doivent répondre.[1]

Quelle question Aaron Levie considère-t-il comme décisive ?

Il s’interroge sur la capacité à résoudre l’alignement et la sécurité de l’IA.[1]

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.