Google lance RRSI contre la mémorisation des IA

Résumé

Des chercheurs de Google proposent RRSI, une méthode qui limite la mémorisation des tests par les agents IA et améliore leurs résultats sur des tâches inédites.

Les faits

Les agents IA auto-améliorants optimisent leur environnement de travail, appelé « harness », un cadre de commandes, de flux de travail, d’outils, de mémoire et de logique qui détermine ce que le modèle voit à chaque étape. Selon un nouvel article de recherche, une part importante des progrès récents des agents vient de ce cadre plutôt que de nouveaux modèles. Les méthodes récentes automatisent l’amélioration du harness : un modèle de langage le réécrit à plusieurs reprises à partir des retours produits par des tâches de test. Les chercheurs décrivent cette boucle comme une forme pratique d’auto-amélioration récursive. Mais l’optimisation répétée sur un ensemble limité de tâches peut conduire l’agent à mémoriser ces tests : ses scores d’entraînement progressent tandis que les gains sur de nouvelles tâches diminuent ou disparaissent. La méthode RRSI, développée par Google Cloud AI Research et plusieurs universités, vise à limiter cette spécialisation tout en réduisant les coûts de calcul. Elle agit sur la boucle d’optimisation en contrôlant le nombre de modifications indépendantes regroupées dans une proposition, avec un budget qui diminue au fil des itérations. Le système conserve aussi la trace des tentatives précédentes et explore des parties encore inutilisées du harness lorsque les progrès stagnent. RRSI augmente les scores jusqu’à 4,7 points sur des tests inédits et utilise environ 30 % de jetons en moins à l’exécution qu’une version non régularisée. La méthode progresse également jusqu’à 14,1 points sur les tâches d’entraînement, tandis que ses performances ne descendent pas sous la référence sur les tests jamais vus.

Pourquoi c’est important

Le problème ciblé concerne la capacité des agents à généraliser au-delà des tâches utilisées pour les améliorer. Une hausse des scores d’entraînement peut masquer une mémorisation de motifs propres à un banc d’essai, une sélection de solutions favorisées par le hasard ou l’ajout d’une complexité qui améliore le résultat sans rendre l’agent réellement meilleur. RRSI cherche à rendre l’auto-amélioration plus robuste en limitant les réécritures excessives, en écartant les propositions qui inscrivent directement des noms de tâches ou des solutions propres aux tests, et en n’acceptant une hausse du coût de calcul qu’en présence d’un gain mesurable. Cette approche associe ainsi amélioration sur les tâches connues, transfert vers des évaluations inédites et réduction de la consommation de jetons.

Questions fréquentes

Quel problème RRSI cherche-t-elle à résoudre ?

RRSI cherche à empêcher les agents IA auto-améliorants de mémoriser leurs tâches de test au détriment de leurs performances sur de nouvelles tâches.

Qu’est-ce qu’un harness ?

Un harness est un cadre de commandes, de flux de travail, d’outils, de mémoire et de logique qui contrôle le comportement d’un agent IA.

Qui a développé RRSI ?

La méthode a été développée par Google Cloud AI Research et plusieurs universités.

Quels résultats RRSI obtient-elle sur les tests inédits ?

RRSI augmente les scores jusqu’à 4,7 points sur des bancs d’essai jamais vus et utilise environ 30 % de jetons en moins qu’une version non régularisée.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.