Anthropic crée FlashProve pour vérifier l’identité des IA

Résumé

Anthropic développe FlashProve, un système open source capable de prouver cryptographiquement quel modèle d’IA a produit une réponse donnée.

Les faits

Anthropic travaille sur FlashProve, un système open source conçu pour vérifier quel modèle d’IA a produit une réponse donnée. Le dispositif repose sur ce que les chercheurs appellent une « inférence démontrable » : une preuve cryptographique, assimilée à une garantie mathématique, qu’une sortie provient bien d’un modèle précis. Il doit permettre aux utilisateurs de confirmer que la réponse reçue vient réellement du modèle qu’ils pensent utiliser. À l’image des signatures électroniques appliquées aux courriels, FlashProve doit résister aux tentatives visant à faire passer un modèle pour un autre, y compris lorsque l’imposteur est le laboratoire qui a conçu et exploite le modèle. Le système pourrait notamment empêcher le remplacement secret d’un modèle par une version moins coûteuse afin de réduire les dépenses, ou par une version plus onéreuse afin de gonfler les résultats de performance. Le dispositif pourrait également servir à vérifier les déclarations de tiers affirmant qu’une tâche a été réalisée par un modèle avancé. Les chercheurs citent notamment l’analyse d’une bibliothèque logicielle à la recherche de vulnérabilités par un modèle de cybersécurité de pointe, ou la validation d’un plan d’affaires par un modèle jugé approprié. Pour fonctionner, FlashProve exige que les laboratoires publient une « empreinte » de chaque modèle. Cette empreinte peut ensuite être associée à des sorties précises et vérifiée par des moyens cryptographiques, sans révéler les poids du modèle, c’est-à-dire les nombres internes qui déterminent son comportement. Une spécification technique détaillée et du code fonctionnel couvrant plusieurs éléments du système ont été publiés sous licence open source sur GitHub. Les travaux se poursuivent et aucun déploiement n’est prévu pour l’instant chez Anthropic ou dans un autre laboratoire.

Pourquoi c’est important

FlashProve s’attaque à un problème de confiance lié à l’utilisation des modèles d’IA : un utilisateur peut difficilement savoir si une réponse provient réellement du système annoncé. En associant chaque modèle à une empreinte vérifiable, le dispositif chercherait à rendre cette attribution contrôlable, y compris pour des modèles commerciaux dont les poids restent privés. L’approche pourrait aussi renforcer la transparence des services d’IA et des affirmations formulées par leurs fournisseurs ou leurs utilisateurs. La vérification étant conçue pour rester légère et pouvoir être effectuée sur un appareil local, elle ne dépendrait pas nécessairement d’une infrastructure distante. Anthropic présente toutefois le projet comme un travail intermédiaire destiné à être examiné et amélioré par d’autres chercheurs, plutôt que comme un produit prêt à être déployé.

Questions fréquentes

Qu’est-ce que FlashProve ?

FlashProve est un système open source conçu pour vérifier cryptographiquement quel modèle d’IA a produit une réponse donnée.

Que prouve le système ?

Il fournit une preuve mathématique qu’une sortie donnée provient d’un modèle précis.

FlashProve révèle-t-il les poids des modèles ?

Non. Les empreintes publiées doivent pouvoir être vérifiées sans révéler les poids internes des modèles.

Le système est-il déjà déployé ?

Non. Les travaux se poursuivent et aucun déploiement n’est prévu chez Anthropic ou dans un autre laboratoire.

Qu’ont publié les chercheurs ?

Ils ont publié une spécification technique détaillée et du code fonctionnel pour plusieurs éléments du système sous licence open source.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.