OpenAI déjoue une tentative de vol de raisonnement IA

Résumé

OpenAI affirme avoir interrompu une campagne visant à extraire le raisonnement protégé de ses modèles, impliquant plus de 15 000 utilisateurs et liée à Moonshot AI.

Les faits

OpenAI affirme avoir identifié puis perturbé une campagne coordonnée visant à extraire le raisonnement protégé de ses modèles. L’activité observée est décrite comme une forme de distillation adversariale : l’utilisation systématique et non autorisée des sorties ou du raisonnement d’un modèle pour entraîner, reproduire ou améliorer un autre modèle. Selon l’entreprise, les opérateurs n’ont ni cassé son chiffrement, ni compromis une base de données, ni obtenu un accès direct aux conversations d’utilisateurs stockées. Les opérateurs auraient manipulé les interactions avec les modèles afin de rendre le raisonnement protégé visible au demandeur, notamment en copiant un raisonnement chiffré depuis une conversation avant de demander à un modèle, dans une autre conversation, de le déchiffrer et de le retranscrire. L’activité a commencé le 1er juillet à faible volume. Les 24 et 25 juillet, OpenAI a observé 16 000 requêtes utilisant un schéma d’extraction associé, provenant de plus de 4 000 utilisateurs. L’enquête a ensuite mis en évidence des schémas de requêtes liés au sein d’un groupe de plus de 15 000 utilisateurs. OpenAI indique avoir entièrement perturbé cette activité le 28 juillet. L’entreprise précise qu’il n’est pas établi que tous les opérateurs observés sur la période provenaient d’un acteur unique, mais attribue un noyau central de la campagne à des personnes associées à Moonshot AI, le développeur de Kimi. Pour répondre à la campagne, OpenAI dit avoir combiné des mesures visant les comptes, des contrôles techniques et une coordination avec des partenaires. L’entreprise a banni ou restreint des comptes frauduleux, renforcé les contrôles à l’inscription et sur ses infrastructures, élargi la surveillance des réseaux associés, fermé un mécanisme permettant de rejouer un raisonnement chiffré et ajouté des contrôles sur les sorties diffusées susceptibles d’exposer un raisonnement.

Pourquoi c’est important

La distillation adversariale peut permettre de reproduire les capacités d’un modèle sans reprendre les protections appliquées à ses réponses destinées aux utilisateurs. OpenAI estime qu’à grande échelle, ce procédé peut accélérer le transfert de capacités avancées sans exiger un investissement équivalent dans la sécurité, avec des risques pour la sûreté et la sécurité nationale. L’affaire dépasse le seul périmètre d’OpenAI : l’entreprise indique que des techniques similaires peuvent affecter d’autres systèmes d’IA avancés. Elle a partagé ses observations avec le Frontier Model Forum et par l’intermédiaire de canaux appropriés de partage d’informations avec les pouvoirs publics. OpenAI prévoit de poursuivre ses efforts autour de la protection technique contre l’extraction, de la détection et de la sanction des campagnes coordonnées, ainsi que du partage de renseignements sur les menaces.

Questions fréquentes

Qu’est-ce que la distillation adversariale ?

C’est l’utilisation systématique et non autorisée des sorties ou du raisonnement d’un modèle pour entraîner, reproduire ou améliorer un autre modèle.

Combien d’utilisateurs étaient concernés par l’activité observée ?

OpenAI a identifié une activité liée à un groupe de plus de 15 000 utilisateurs, après avoir observé 16 000 requêtes provenant de plus de 4 000 utilisateurs les 24 et 25 juillet.

À qui OpenAI attribue-t-elle un noyau central de la campagne ?

OpenAI attribue un noyau central de l’activité à des personnes associées à Moonshot AI, le développeur de Kimi.

OpenAI a-t-elle subi une compromission de ses bases de données ?

OpenAI affirme que les opérateurs n’ont ni cassé son chiffrement, ni compromis une base de données, ni obtenu un accès direct aux conversations stockées.

Quand OpenAI dit-elle avoir perturbé l’activité ?

OpenAI indique avoir entièrement perturbé l’activité liée au groupe de plus de 15 000 utilisateurs le 28 juillet.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.