ALTK-Evolve place GPT-4.1 en tête de τ²-bench grâce à une mémoire

Résumé

ALTK-Evolve améliore un agent de service client fondé sur GPT-4.1 grâce à des consignes apprises, sans modifier les poids du modèle.

Les faits

ALTK-Evolve apprend un « manuel opérationnel » à partir des tentatives d’un agent de service client, puis ajoute les règles comportementales ainsi dégagées à son invite système. L’approche utilise GPT-4.1, un modèle présenté comme ancien et dépourvu de capacités de raisonnement, sans mise à jour des poids ni annotation humaine. Sur le domaine de la vente au détail de τ²-bench, l’agent atteint 67,5 % de Pass^4. Cette mesure correspond à la proportion de tâches résolues lors des quatre tentatives indépendantes. Le résultat dépasse toutes les entrées du domaine retail dans une capture du classement datée du 12 octobre 2026. L’évaluation repose sur l’implémentation standard de τ²-bench d’un agent ReAct, avec une boucle THINK → ACT. GPT-4.1 sert de modèle agent et GPT-5.5 de simulateur client, tandis que quatre essais sont réalisés par tâche. Le seul changement apporté au dispositif est l’ajout de consignes apprises à l’invite système. τ²-bench évalue des conversations de service client dans deux domaines : la vente au détail et le transport aérien. Les tâches associent un client simulé, des outils métier et une politique écrite que l’agent doit respecter avant d’effectuer les actions appropriées.

Pourquoi c’est important

Le résultat met en avant une voie d’amélioration qui ne repose pas sur l’entraînement supplémentaire du modèle ni sur la modification de ses paramètres. Les expériences décrites déplacent l’effort vers l’extraction et l’application de règles opérationnelles issues des trajectoires de l’agent. Cette approche est particulièrement adaptée aux environnements où l’agent doit respecter des politiques, recueillir les bonnes informations et exécuter des actions parfois irréversibles. Le score de 67,5 % en Pass^4 suggère que la mémoire apprenante agit à la fois sur la capacité à réussir et sur la régularité des réponses.

Questions fréquentes

Qu’est-ce qu’ALTK-Evolve ?

ALTK-Evolve extrait des règles comportementales des tentatives d’un agent, puis les ajoute à son invite système pour les conversations suivantes.

Quel score l’agent atteint-il sur τ²-bench retail ?

L’agent atteint 67,5 % de Pass^4 sur le domaine retail de τ²-bench.

ALTK-Evolve modifie-t-il les poids du modèle ?

Non. L’approche ajoute des consignes apprises à l’invite système, sans mise à jour des poids ni annotation humaine.

Quels modèles sont utilisés dans l’évaluation ?

GPT-4.1 est utilisé pour l’agent et l’extraction des consignes, tandis que GPT-5.5 joue le rôle de simulateur client.

Quels domaines τ²-bench sont évalués ?

L’évaluation porte sur deux domaines de service client : la vente au détail et le transport aérien.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.