Anthropic veut ralentir l'IA avec des évaluateurs tiers

Résumé

Dario Amodei, CEO d’Anthropic, détaille un plan en trois volets pour « ralentir le rythme » des progrès de l’IA, avec engagement unilatéral à accueillir des évaluateurs externes.

Les faits

Face à des avertissements de plus en plus alarmants sur les risques de l’intelligence artificielle, Dario Amodei, directeur général d’Anthropic, publie un nouveau billet de blog où il reprend l’idée de « rythmer la frontière » de l’IA et propose trois grandes stratégies pour y parvenir. Il explique notamment que « l’IA a progressé de manière drastiquement plus rapide » ces derniers mois, en soulignant sa « capacité croissante à construire la prochaine génération d’IA ». Amodei affirme que « nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA » tout en prévenant que « les progrès sembleront encore rapides » et que le secteur doit « faire bon usage du temps » gagné. Son premier axe consiste à accueillir des « évaluateurs intégrés » issus d’organisations tierces comme METR, chargés de vérifier que les entreprises d’IA respectent leurs engagements de prudence et de sécurité, et de garantir la remontée des incidents. Il précise qu’Anthropic « s’engage unilatéralement » dans cette démarche. Ces évaluateurs, comparés à des régulateurs intégrés dans les banques, se verraient attribuer des badges, des bureaux et des ordinateurs portables, avec un accès « principalement comparable à celui des équipes internes d’évaluation des risques », sauf exceptions imposées par la loi ou les contrats. Le deuxième volet du plan appelle les principales entreprises d’IA « dans les pays démocratiques » à coordonner « des standards communs de sécurité ainsi que des limites sur le rythme des progrès non encadrés ». Amodei évoque enfin un troisième volet de « coordination globale », dans lequel les États-Unis et leurs alliés « tentent de se coordonner avec les gouvernements autoritaires, dans la mesure où cela est possible ». Il y voit des possibilités d’accords ciblés, par exemple « en interdisant certains usages étroits et manifestement dangereux de l’IA, comme l’utilisation de l’IA pour la production d’armes biologiques ou le fait de permettre aux utilisateurs de le faire ». Tout en reconnaissant les risques, il écrit continuer « à croire que l’IA peut énormément améliorer la qualité de vie humaine » et estime qu’il « vaut la peine de prendre un soin exceptionnellement délibéré » pour « construire la technologie de la bonne manière ».

Pourquoi c’est important

La prise de position de Dario Amodei intervient dans un contexte de débat intense sur la sécurité de l’IA, marqué par la démission du chercheur Jacob Coxon, qui accuse les grands laboratoires de « jouer avec nos vies » et affirme que certains ingénieurs « croient sincèrement que cela pourrait tous nous tuer d’ici la fin de la décennie ». En réponse à ces craintes existentielles, le plan d’Anthropic propose de transformer la gouvernance de l’IA de pointe en organisant une surveillance permanente par des évaluateurs externes, une coordination interentreprises et un dialogue entre puissances. Ce projet suscite toutefois des critiques. Des commentateurs estiment que les scénarios apocalyptiques détournent l’attention des dommages déjà causés par l’IA, tandis que le journaliste Brian Merchant juge n’avoir jamais vu « une documentation crédible, étape par étape, de la façon dont l’IA pourrait passer de l’amélioration auto-récursive à la destruction de chaque être humain sur la planète ». Il avertit en outre que des propositions comme celles d’Amodei « ne serviraient probablement qu’Anthropic et OpenAI » et qu’elles ressemblent à un cas de « capture réglementaire », où les acteurs dominants façonnent des règles à leur avantage.

Questions fréquentes

Quel est l’objectif central du plan de Dario Amodei pour l’IA ?

Dario Amodei veut « ralentir le rythme » de l’amélioration des capacités des modèles d’IA afin de gagner du temps pour gérer les risques tout en poursuivant les bénéfices.

Que propose Anthropic avec les « évaluateurs intégrés » ?

Anthropic s’engage à accueillir des évaluateurs tiers, comme METR, avec un accès de type employé pour vérifier le respect des mesures de sécurité et signaler les incidents.

Quels sont les trois volets du plan pour « rythmer la frontière » ?

Évaluateurs intégrés chez les entreprises d’IA, coordination des standards et limites de progrès entre entreprises des pays démocratiques, puis coordination globale avec des gouvernements autoritaires.

Comment Dario Amodei voit-il les bénéfices potentiels de l’IA ?

Il écrit qu’il continue « à croire que l’IA peut énormément améliorer la qualité de vie humaine » et que son désir d’atteindre ces bénéfices reste « intact ».

Pourquoi certains critiquent-ils les propositions d’Amodei ?

Des critiques, comme Brian Merchant, estiment que ces mesures pourraient servir surtout Anthropic et OpenAI et s’apparentent à une forme de capture réglementaire.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.