AIUC lance un audit pour maîtriser les IA en entreprise

Résumé

La startup AIUC, fondée par un ex-Anthropic et l’ancien COO de METR, lève 55 M$ pour auditer les agents d’IA via un standard AIUC-1 et 5 000 tests.

Les faits

Un jour après la démission du chercheur d’Anthropic Jacob Coxon, inquiété par le risque que l’IA « puisse tous nous tuer d’ici la fin de la décennie », les fondateurs Rune Kvist et Rajiv Dattani présentent leur réponse : un dispositif d’audit pour empêcher les agents d’IA d’agir de manière incontrôlée dans les entreprises. Kvist, ancien employé d’Anthropic, et Dattani, ex-directeur des opérations de l’organisation de recherche en sécurité IA METR, ont lancé Artificial Intelligence Underwriting Company (AIUC) pour apporter la sécurité des agents aux entreprises et aux sociétés qui développent modèles et agents. La jeune pousse compte déjà parmi ses clients Cursor, Lovable, Harvey et ElevenLabs. Kvist résume le dilemme actuel : « l’IA devient plus difficile à adopter et à contrôler à mesure qu’elle devient plus intelligente, pas l’inverse », et souligne que banques, hôpitaux, gouvernements et armées refusent désormais l’IA non parce qu’elle serait trop peu intelligente, mais parce qu’ils ont pris des engagements sur ce que leurs systèmes feront ou non, engagements qu’aucun fournisseur ne peut garantir. Mardi, AIUC a annoncé une levée de fonds de 40 millions de dollars en série A, menée par Ribbit Capital avec la participation de First Harmonic. L’entreprise avait auparavant bouclé un tour d’amorçage de 15 millions de dollars auprès de Nat Friedman via son fonds NFDG, ainsi que des investisseurs Emergence, Terrain et Ben Mann, cofondateur d’Anthropic, portant le financement total à 55 millions de dollars. Le cœur de la proposition d’AIUC consiste à transposer un modèle bien connu de cybersécurité à de nouveaux risques liés aux agents d’IA. Inspirée du standard de conformité SOC 2, la société a développé son propre référentiel, AIUC-1, et un service de tests pour évaluer les agents. Pour élaborer ce standard, elle a réuni un consortium d’environ 250 responsables de la sécurité et des risques, qu’elle consulte mensuellement pour identifier ce qu’ils attendent lorsqu’ils achètent des agents : les questions à poser, les garanties à exiger. Ces retours alimentent une batterie d’environ 5 000 tests, qui simulent des scénarios de jailbreak, d’hallucinations et de fuites de données. Les résultats donnent lieu à un rapport d’une centaine de pages détaillant les zones où l’agent se comporte de manière sûre et fiable, et celles où il ne le fait pas. Les tests sont exécutés par des agents d’IA et l’analyse est elle aussi assistée par l’IA, mais la validation finale de l’audit reste assurée par des humains. Cette approche s’inscrit dans le sillage des travaux de METR, qui réalise des tests comparables pour les laboratoires de pointe, en se concentrant jusqu’ici surtout sur la performance des agents et leur capacité à mener des tâches de façon fiable. METR a notamment été sollicité par OpenAI pour enquêter sur un incident impliquant Hugging Face. Dans un billet récent, le directeur général d’Anthropic, Dario Amodei, a appelé l’industrie à modérer le rythme du développement de l’IA de frontière, en citant une hausse rapide des incidents de comportements dangereux, et a évoqué l’idée d’imposer des évaluateurs tiers intégrés pour observer et vérifier la sécurité, parmi lesquels METR. Sans chercher à s’installer chez ses clients, AIUC reprend une logique similaire en offrant aux entreprises une évaluation indépendante du niveau de sécurité de leurs agents : « voici là où il réussit et où vous pouvez lui faire confiance, et voici là où il y a des préoccupations », explique Dattani, invitant les acheteurs à connaître ces limites avant toute décision.

Pourquoi c’est important

L’essor rapide des agents d’IA autonomes confronte les grandes organisations à un paradoxe : alors que les modèles gagnent en puissance, leur comportement devient plus difficile à prévoir et à encadrer. En se positionnant comme couche tierce d’audit et de certification, AIUC tente de combler un vide crucial entre les promesses des fournisseurs d’IA et les obligations de sécurité des banques, hôpitaux, administrations et forces armées. En structurant un standard inspiré de SOC 2, en mobilisant 250 responsables risques et en industrialisant 5 000 tests pour produire des rapports exhaustifs, AIUC cherche à transformer l’évaluation de la sécurité des agents en exigence contractuelle plutôt qu’en vérification facultative. La mobilisation d’investisseurs de premier plan et le dialogue avec des acteurs comme METR ou Anthropic illustrent l’émergence d’une nouvelle infrastructure de confiance autour des agents d’IA, susceptible de conditionner leur adoption dans les environnements les plus sensibles.

Questions fréquentes

Qui a fondé AIUC ?

Artificial Intelligence Underwriting Company (AIUC) a été fondée par Rune Kvist, ancien employé d’Anthropic, et Rajiv Dattani, ex-COO de l’organisation de recherche METR.

Combien AIUC a-t-elle levé au total ?

AIUC a levé 40 M$ en série A, après un seed de 15 M$, soit 55 M$ de financement total.

À quoi sert le standard AIUC-1 ?

AIUC-1 est un standard inspiré de SOC 2 qui sert de base à un service de tests pour auditer la sécurité et la fiabilité des agents d’IA en entreprise.

Comment AIUC teste les agents d’IA ?

La startup soumet les agents à environ 5 000 tests couvrant jailbreaks, hallucinations et fuites de données, puis produit un rapport d’une centaine de pages sur leurs comportements.

Quels clients utilisent déjà AIUC ?

AIUC cite comme clients Cursor, Lovable, Harvey et ElevenLabs pour ses services d’audit et de certification d’agents d’IA.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.