Microsoft transforme les vérifications de bases de données

Résumé

Microsoft et Hugging Face utilisent l’état final d’une base de données comme récompense d’apprentissage, faisant progresser les succès moyens de Qwen3.8-27B.

Les faits

Microsoft et Hugging Face présentent ThinkingBox, une méthode qui évalue le travail d’un agent en comparant l’état final d’une base de données avec le résultat attendu. Le même signal exécutable est ensuite utilisé comme récompense pour entraîner des agents sur des tâches situées en dehors de ThinkingBox-Bench. ThinkingBox-Bench comprend 507 tâches. Pour chacune, l’agent dispose d’un véritable système dorsal et d’un ensemble d’outils, puis l’état réellement modifié dans la base de données est contrôlé. Selon les auteurs, une vérification exécutable peut renvoyer directement 1 ou 0 à partir de l’état final de la base. Sur Qwen3.8-27B, le taux moyen de réussite passe de 51,70 % à 60,78 %. Le nombre de tâches correctement réalisées lors des vingt tentatives passe de 38 à 107 après 50 étapes de GRPO. L’article explique que le jeu d’entraînement a été constitué à partir de tâches au format ThinkingBox situées en dehors du jeu de référence. Le choix des tâches vise à écarter celles qui sont déjà résolues ou impossibles pour le modèle, car elles n’apportent aucun enseignement utile.

Pourquoi c’est important

ThinkingBox déplace l’évaluation de la formulation produite par l’agent vers la conséquence concrète de ses actions. Le signal de récompense repose ainsi sur l’état final d’une base de données, ce qui permet de distinguer une tâche réellement accomplie d’une réponse qui affirme seulement qu’elle l’est. Les résultats rapportés sur Qwen3.8-27B montrent l’intérêt potentiel de cette approche pour le post-entraînement d’agents utilisant des outils. La hausse du succès moyen et du nombre de tâches réussies lors des vingt tentatives indique que des vérifications exécutables peuvent servir à améliorer la fiabilité opérationnelle des modèles.

Questions fréquentes

Qu’est-ce que ThinkingBox ?

ThinkingBox évalue le travail d’un agent en comparant l’état final d’une base de données avec le résultat attendu.

Combien de tâches contient ThinkingBox-Bench ?

ThinkingBox-Bench comprend 507 tâches.

Quels résultats Qwen3.8-27B a-t-il obtenus ?

Son taux moyen de réussite est passé de 51,70 % à 60,78 %, tandis que les tâches réussies lors des vingt tentatives sont passées de 38 à 107.

Combien d’étapes de GRPO ont été utilisées ?

L’entraînement a utilisé 50 étapes de GRPO.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.