AutoSynthData transforme les échecs d'agents en données d'entraînement

Résumé

ServiceNow CoreAI présente AutoSynthData, un pipeline qui transforme les échecs d’un modèle en tâches synthétiques validées pour entraîner des agents d’entreprise.

Les faits

ServiceNow CoreAI présente AutoSynthData, un système destiné à transformer les lacunes d’un agent en données d’entraînement. Le dispositif s’appuie sur les échecs d’un modèle cible et les réussites d’un enseignant plus puissant afin de déterminer les capacités que le modèle doit apprendre ensuite. AutoSynthData génère de nouvelles tâches conçues pour reproduire ces difficultés dans l’environnement concerné. Chaque tâche comprend une spécification système, une instruction destinée à l’agent et un vérificateur. Les tâches sont ancrées dans l’environnement d’utilisation et sélectionnées pour fournir un signal d’entraînement utile au modèle évalué. Le pipeline commence par l’évaluation du modèle cible au moyen de tâches diagnostiques. Il repère les situations dans lesquelles celui-ci échoue, puis utilise un enseignant plus performant pour déterminer quelles tâches peuvent être résolues et à quoi ressemble un comportement réussi. Les tâches produites sont ensuite exécutées et contrôlées dans l’environnement avant leur utilisation pour le post-entraînement. L’approche est illustrée avec EnterpriseOps Gym et son jeu de données publié. AutoSynthData construit les données en deux phases : la génération et la validation d’échantillons de base, puis leur déclinaison en variantes inédites. Dans les expériences présentées, le point de contrôle SFT entraîné sur les données synthétiques améliore le score moyen Pass@1 de 7,2 points de pourcentage, soit une progression relative de 35 %, tandis que la réussite mesurée par le vérificateur passe de 63,01 % à 68,55 %. Le système a généré 1 994 échantillons d’entraînement synthétiques en 66 heures.

Pourquoi c’est important

L’intérêt stratégique d’AutoSynthData tient à son adaptation aux environnements d’entreprise. Les agents y travaillent avec des systèmes, des règles et des données propres à chaque organisation ; un modèle généraliste peut donc rester en difficulté face à certains flux de travail, à des combinaisons d’outils ou à des contraintes spécifiques. Le pipeline vise directement ces faiblesses plutôt que de produire des tâches d’entraînement génériques. Le mécanisme introduit également une logique de curriculum évolutif : à mesure que le modèle progresse, les tâches générées se déplacent vers les capacités qu’il maîtrise encore mal. La validation dans l’environnement, l’évaluation par un solveur et la réparation des tâches avant leur acceptation cherchent à rendre les données synthétiques exécutables et exploitables pour le post-entraînement.

Questions fréquentes

Qu’est-ce qu’AutoSynthData ?

AutoSynthData est un système de ServiceNow CoreAI qui transforme les échecs d’un modèle cible en tâches d’entraînement synthétiques validées.

Sur quelles informations le système s’appuie-t-il ?

Il utilise les échecs du modèle cible et les réussites d’un enseignant plus puissant pour déterminer les capacités à travailler.

Que contient une tâche générée ?

Une tâche comprend une spécification système, une instruction destinée à l’agent et un vérificateur.

Quel environnement illustre l’approche ?

L’approche est illustrée avec EnterpriseOps Gym et son jeu de données publié.

Combien d’échantillons ont été générés ?

AutoSynthData a généré 1 994 échantillons d’entraînement synthétiques en 66 heures.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.