Une nouvelle méthode pilote l'analyse des IA

Résumé

Un projet exploratoire introduit une méthode de découverte de caractéristiques pilotée par LLM, qui segmente les transcriptions et réduit l’accès aux internes des modèles.

Les faits

Dans le domaine de l’intelligence artificielle, la compréhension des comportements des modèles de langage à travers différentes distributions reste un enjeu central, qu’il s’agisse de déploiement, d’entraînement par renforcement ou d’évaluations. Un projet exploratoire récent s’est penché sur cette problématique en introduisant une « découverte de caractéristiques pilotée par LLM » afin d’identifier de nouveaux comportements, d’en comprendre les causes et de repérer des corrélations inattendues. La méthode commence par la sélection d’un ensemble de données constitué de transcriptions de modèles, puis par la division systématique de ces transcriptions en trois segments distincts : les échanges de l’utilisateur, les pensées du modèle et les réponses de l’assistant. Un LLM autorater est ensuite utilisé pour générer entre 10 et 20 « caractéristiques » pour chaque segment de transcription, ces caractéristiques représentant des aspects notables ou intéressants de chaque partie. Pour structurer ces signaux, chaque caractéristique générée se voit associer une embedding sémantique. Les embeddings sont regroupés séparément pour les caractéristiques liées à l’utilisateur, aux pensées et aux réponses, afin de créer des clusters thématiques. Un modèle de langage reçoit ensuite 100 caractéristiques aléatoires pour chaque cluster et doit produire une étiquette concise capturant le thème commun du groupe. Ce projet a parfois été perçu comme une sorte de « SAE boîte noire », car il s’attaque à un problème similaire à celui des systèmes d’autocodage clairsemé (SAE) qui featurisent le texte du modèle, mais sans nécessiter l’accès aux internes du modèle. L’approche présente des avantages par rapport aux SAE, comme des explications plus claires sur l’application des caractéristiques dans un contexte donné, des caractéristiques de niveau plus élevé et l’absence de besoin d’accéder aux activations internes. En contrepartie, elle souffre de l’absence de lien direct avec les activations du modèle, ce qui limite son utilisation pour l’orientation, et d’un coût de calcul plus élevé. Après la réalisation du projet, il est apparu que cette approche partage des similitudes avec la méthode « Expliquer les Ensembles de Données en Mots : Modèles Statistiques avec Paramètres en Langage Naturel » (EDW). EDW optimise des directions dans un espace d’embedding et les associe à des caractéristiques en langage naturel, appelées « prédicats », avec une sortie comparable à celle de la découverte de caractéristiques pilotée par LLM. Toutefois, la nouvelle méthode se distingue par sa simplicité : elle ne nécessite qu’un appel LLM par prompt, sans multiples étapes d’itération, et fonctionne de manière non supervisée, sans cible pour optimiser les directions d’embedding. EDW peut rester préférable lorsque l’objectif est de minimiser l’erreur d’un modèle statistique spécifique fondé sur des caractéristiques en langage naturel.

Pourquoi c’est important

Cette méthode de découverte de caractéristiques pilotée par LLM pourrait transformer la manière dont les chercheurs analysent et optimisent les comportements des modèles de langage. En segmentant les transcriptions et en exploitant un LLM autorater pour générer des caractéristiques, elle offre une nouvelle voie pour cartographier des comportements complexes sans instrumentation interne des modèles. En se positionnant comme une « SAE boîte noire » et en se rapprochant conceptuellement d’EDW tout en restant plus simple et non supervisée, cette approche ouvre des perspectives pour la compréhension de haut niveau des modèles, notamment dans les contextes de déploiement et d’entraînement par renforcement. Les avantages en termes d’interprétabilité et de niveau de description des caractéristiques pourraient en faire un outil clé pour explorer des corrélations inattendues et affiner les stratégies de contrôle, malgré un coût de calcul plus élevé et l’absence de lien direct avec les activations.

Questions fréquentes

Quel est l’objectif de la découverte de caractéristiques pilotée par LLM ?

Elle vise à identifier de nouveaux comportements, comprendre leurs causes et détecter des corrélations inattendues dans les modèles de langage.

Comment les transcriptions sont-elles utilisées dans cette méthode ?

Les transcriptions sont segmentées en échanges utilisateur, pensées du modèle et réponses de l’assistant, puis analysées par un LLM autorater.

Combien de caractéristiques sont générées par segment de transcription ?

Le LLM autorater génère entre 10 et 20 caractéristiques pour chaque segment de transcription.

En quoi cette approche se distingue-t-elle des SAE ?

Elle ne nécessite pas d’accès aux internes du modèle, fournit des caractéristiques de niveau supérieur, mais n’est pas directement liée aux activations.

Quel lien est établi avec la méthode EDW ?

La sortie est comparable à EDW, mais la nouvelle méthode est plus simple, non supervisée et ne requiert qu’un appel LLM par prompt.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.