Un chercheur simplifie la compréhension des réseaux neuronaux

Résumé

Nick Cammarata estime que les réseaux neuronaux sont plus lisibles qu’attendu, une thèse prometteuse mais encore contestée par des chercheurs.

Les faits

Dans un essai intitulé « Neural Networks Are Already Clean », Nick Cammarata soutient que le fonctionnement interne des grands modèles d’IA est beaucoup plus facile à comprendre qu’on ne le pensait. Chercheur au sein du laboratoire d’interprétabilité Goodfire, il remet ainsi en cause une explication qu’il avait contribué à élaborer plusieurs années auparavant. L’interprétabilité mécaniste cherche à retracer la manière dont un modèle produit ses réponses, au-delà de l’observation de ses résultats. L’hypothèse de la superposition avançait que des concepts sans rapport étaient stockés dans les mêmes neurones lorsque le réseau manquait de capacité, donnant l’image d’un système difficile à démêler. Un exemple classique concernait un neurone d’InceptionV1 réagissant à la fois à des visages de chats et à l’avant de voitures. Selon l’extrait consacré à l’essai, environ 90 % des neurones rempliraient une fonction claire. Dans Qwen3-32B, environ 90 % des pôles neuronaux auraient une fonction principale, tandis qu’environ 7 % en auraient deux qui restent liées ; seuls 2 à 4 % demeureraient inexpliqués. Cette lecture divise les chercheurs. Roon, d’OpenAI, a qualifié le moment d’historique et écrit que le travail pourrait être retenu comme « un moment majeur de l’histoire scientifique ». Neel Nanda, chercheur chez Google DeepMind, appelle toutefois à ne pas exagérer sa portée. Il estime que la superposition demeure réelle, doute que les résultats obtenus sur de petits modèles d’image s’appliquent aux modèles de langage et juge que l’essai définit trop largement la mon sémanticité.

Pourquoi c’est important

Si cette interprétation se confirme, une part beaucoup plus importante des circuits internes des modèles pourrait être étudiée directement. L’identification de mécanismes associés à la tromperie ou à des comportements dangereux deviendrait alors une piste concrète pour la sécurité de l’IA. Le désaccord porte cependant sur la portée des résultats et sur les définitions employées. La question n’est pas seulement de savoir si certains neurones ont une fonction identifiable, mais aussi de déterminer si les conclusions observées sur certains modèles peuvent être étendues aux grands modèles de langage.

Questions fréquentes

Que soutient Nick Cammarata ?

Il estime que le fonctionnement interne des grands modèles d’IA est plus facile à comprendre qu’on ne le pensait.

Quel chiffre central ressort de l’essai ?

Environ 90 % des neurones rempliraient une fonction claire.

Qu’est-ce que la superposition ?

C’est l’hypothèse selon laquelle des concepts différents peuvent être stockés dans les mêmes neurones lorsque le réseau manque de capacité.

Pourquoi Neel Nanda reste-t-il prudent ?

Il considère que la superposition demeure réelle et doute que les résultats de petits modèles d’image s’appliquent aux modèles de langage.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.