Liquid AI accélère l'inférence de ses modèles jusqu'à 3,2x

Résumé

Liquid AI publie des checkpoints DSpark pour trois modèles LFM2.5, ajoutant un chemin de décodage spéculatif qui accélère fortement l'inférence sans dégrader la qualité.

Les faits

Liquid AI annonce la sortie de checkpoints de modèles DSpark pour trois modèles de sa famille LFM2.5 : LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B. Ces modèles intègrent un chemin de décodage spéculatif conçu pour améliorer la vitesse d'inférence tout en préservant la qualité des sorties. L'éditeur explique que la phase de décodage dans l'inférence des grands modèles de langage est traditionnellement limitée par la mémoire, la latence provenant principalement du transfert des poids de la DRAM vers la SRAM plutôt que du calcul lui‑même. DSpark s'attaque à ce goulot d'étranglement en ajoutant un modèle de brouillon léger qui propose des tokens candidats, avant que le modèle cible ne les vérifie en une seule passe de forward, mutualisant le coût de chargement des poids sur l'ensemble des tokens vérifiés. Liquid AI précise que cette approche de décodage spéculatif échange une augmentation minimale de la mémoire contre une accélération importante du décodage, « sans changer la qualité de sortie ». Le billet de blog situe DSpark dans la continuité de plusieurs approches de spéculation déjà proposées, en citant notamment EAGLE‑3 et DFlash, et présente DSpark comme une combinaison de trois composants pour maximiser ce gain de performance. L'article est publié sous forme de « Team Article » sur le blog Hugging Face, avec plusieurs auteurs affiliés à Liquid AI. Il met l'accent sur la parité de qualité entre les versions DSpark et les modèles LFM2.5 d'origine, ainsi que sur les gains de vitesse obtenus aussi bien sur CPU que sur GPU, tout en détaillant la manière d'utiliser LFM2.5‑DSpark et les premières intégrations disponibles.

Pourquoi c’est important

En introduisant DSpark dans la famille LFM2.5, Liquid AI s'attaque directement au principal goulot d'étranglement de l'inférence des grands modèles de langage : le décodage limité par la mémoire. En mutualisant le coût de chargement des poids grâce à un modèle de brouillon léger, l'éditeur vise une accélération substantielle du décodage, avec un impact direct sur les coûts d'infrastructure et la réactivité des applications basées sur LLM. Le positionnement de DSpark dans la lignée de travaux comme EAGLE‑3 et DFlash montre que la course à l'optimisation de l'inférence s'intensifie. En promettant une accélération importante « sans changer la qualité de sortie », Liquid AI cherche à rendre ses modèles LFM2.5 plus attractifs pour des déploiements à grande échelle, où chaque gain de performance se traduit en économies opérationnelles et en meilleure expérience utilisateur.

Questions fréquentes

Quels modèles LFM2.5 disposent de checkpoints DSpark ?

Liquid AI publie des checkpoints DSpark pour LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B.

Quel est l'objectif principal de DSpark ?

DSpark vise à accélérer fortement le décodage en inférence en ajoutant un modèle de brouillon spéculatif, tout en préservant la qualité de sortie.

Comment DSpark améliore la vitesse d'inférence ?

Un modèle léger propose des tokens candidats et le modèle cible les vérifie en une seule passe, partageant le coût de chargement des poids.

DSpark modifie-t-il la qualité des réponses des modèles ?

Liquid AI souligne que DSpark apporte une grande accélération de décodage « sans changer la qualité de sortie ».

Sur quels types de matériels DSpark apporte des gains ?

Le billet met en avant des accélérations d'inférence obtenues à la fois sur CPU et sur GPU avec les modèles LFM2.5-DSpark.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.