PrismML compresse l'IA pour la faire tourner sur PC

Résumé

PrismML lance Bonsai 2 27B, une version compressée de Qwen3.8 27B limitée à 5,9 Go, qui conserve 98 % des performances et vise les PC et smartphones.

Les faits

Le laboratoire d’IA PrismML mise sur une idée simple mais ambitieuse : des modèles de langage capables de raisonner n’ont pas besoin d’être gigantesques pour être performants. La jeune pousse affirme développer des modèles de raisonnement assez compacts pour tourner directement sur des PC et, potentiellement, sur des smartphones haut de gamme. Jeudi, PrismML a dévoilé Bonsai 2 27B, dernier-né d’une famille de modèles qui applique sa technologie de compression à Qwen3.8 27B, un modèle open source largement utilisé issu d’Alibaba. Cette version compressée ramène l’empreinte mémoire à 5,9 Go, soit une réduction de 9 à 10 fois par rapport au modèle original, ce qui la rend compatible avec un PC et possiblement avec un smartphone haut de gamme. Fondée par un groupe de chercheurs de Caltech, PrismML est dirigée par Babak Hassibi, professeur à Caltech et spécialiste des technologies de compression. La startup compte aussi parmi ses conseillers Ion Stoica, cofondateur de Databricks et directeur du Sky Computing Lab de Berkeley. Elle est soutenue par les investisseurs Khosla Ventures, Cerberus Capital et Caltech. Selon Hassibi, la particularité de la technologie de compression de PrismML est de préserver presque entièrement les performances des modèles d’origine. Bonsai 2 atteint 98 % des scores de benchmarks agrégés de Qwen3.8 27B, en progression par rapport au premier Bonsai lancé en mars, qui atteignait 95 %. Ce premier modèle a déjà été téléchargé plus de 11 millions de fois, tandis que des modèles encore plus petits de PrismML revendiquent 2,6 millions de téléchargements supplémentaires.

Pourquoi c’est important

PrismML s’attaque à l’un des freins majeurs à l’adoption des LLM avancés : leur dépendance à des infrastructures cloud massives. En compressant un modèle de 27 milliards de paramètres comme Qwen3.8 27B à 5,9 Go tout en conservant 98 % de ses performances de référence, la startup ouvre la voie à des capacités de raisonnement de haut niveau directement sur les appareils des utilisateurs. Au-delà du gain de coût et de latence, l’exécution locale renforce la confidentialité des usages, avec des modèles qui ne nécessitent plus d’envoyer les données dans le cloud. Comme le souligne Ion Stoica, cette approche pourrait offrir « l’intelligence au bout des doigts », gratuite sur les appareils déjà achetés et plus respectueuse de la vie privée, ce qui en fait un enjeu stratégique pour l’écosystème des agents et applications d’IA.

Questions fréquentes

Qu’est-ce que Bonsai 2 27B de PrismML ?

Bonsai 2 27B est une version compressée du modèle open source Qwen3.8 27B d’Alibaba, ramenée à 5,9 Go pour une exécution locale.

Quel niveau de performance Bonsai 2 conserve-t-il ?

PrismML indique que Bonsai 2 27B atteint 98 % des scores de benchmarks agrégés du modèle Qwen3.8 27B original.

Sur quels types d’appareils Bonsai 2 peut-il fonctionner ?

Avec une taille de 5,9 Go, Bonsai 2 27B est présenté comme suffisamment compact pour fonctionner sur des PC et possiblement des smartphones haut de gamme.

Qui dirige PrismML et qui conseille la startup ?

PrismML est dirigée par Babak Hassibi, professeur à Caltech, et compte Ion Stoica, cofondateur de Databricks, parmi ses conseillers.

Quels investisseurs soutiennent PrismML ?

PrismML est financée par Khosla Ventures, Cerberus Capital et Caltech.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.