VocabX réduit de 77 % le coût d’inférence de petits modèles de langage

Résumé

VocabX spécialise le vocabulaire de petits modèles de langage et réduit de 77 % le coût d’inférence mesuré, sans modifier le modèle de base.

Les faits

Les modèles spécialisés dans un domaine ou une tâche héritent généralement du vocabulaire de leur modèle de base. Dans un correcteur d’essais utilisé en production, ce vocabulaire fragmentait en nombreux jetons les textes principalement générés par le modèle. L’équipe Dharma-AI présente VocabX, une méthode conçue pour adapter le vocabulaire au coût de chaque jeton plutôt qu’à sa fréquence. VocabX reconstruit le vocabulaire en conservant le même modèle de base, les mêmes données et la même méthode d’entraînement. La méthode agit à deux niveaux : elle redéfinit le découpage des mots du domaine en sous-unités et transforme en jetons uniques des séquences répétées, allant de courtes expressions à des lignes complètes et des structures JSON. La sélection des éléments du vocabulaire repose sur un critère de coût. Dans le cas étudié, un jeton économisé dans la réponse valait 7,4 fois un jeton économisé dans l’entrée ; le vocabulaire a donc été construit en conséquence. La taille du vocabulaire est contrôlée par une réduction du vocabulaire de base et par l’ajout de macros dans un budget fixé. Dans le correcteur d’essais, VocabX a réduit de 77 % le coût d’inférence mesuré, sans changement du modèle de base ni de la méthode d’entraînement. Dans quinze évaluations, la version élaguée de VocabX a également obtenu les meilleurs résultats en coût d’inférence estimé, avec des marges moyennes de 10,2 points sur Qwen3, 7,5 sur Llama-3.1 et 13,6 sur Gemma-3.

Pourquoi c’est important

Le résultat déplace un levier d’optimisation souvent considéré comme fixe : le tokenizer hérité du modèle de base. Pour les petits modèles spécialisés, adapter le vocabulaire au domaine et au coût réel des entrées et des sorties peut réduire la quantité de texte traitée sans modifier l’architecture du modèle. VocabX ne rend pas le modèle plus intelligent, selon l’article. Son intérêt est économique : éviter de payer pour du texte généré morceau par morceau lorsqu’il peut être représenté par des unités adaptées au domaine, ainsi que pour un vocabulaire rarement utilisé. La baisse mesurée de 77 % dans le correcteur étudié illustre le potentiel de cette approche en production.

Questions fréquentes

Qu’est-ce que VocabX ?

VocabX est une méthode qui spécialise le vocabulaire d’un modèle autour du coût de chaque jeton plutôt que de sa fréquence.[1]

Quelle réduction de coût a été mesurée ?

Dans le correcteur d’essais étudié, VocabX a réduit de 77 % le coût d’inférence mesuré.[1]

Le modèle de base a-t-il été modifié ?

Non. L’expérience conserve le même modèle de base, les mêmes données et la même méthode d’entraînement.[1]

Comment VocabX construit-il son vocabulaire ?

Il redéfinit le découpage des mots et convertit des séquences répétées en macros représentées par un seul jeton.[1]

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.