L'Allemagne dévoile Soofi S, son IA parle allemand

Résumé

Un consortium allemand lance Soofi S 30B-A3B, modèle ouvert de 31,6 milliards de paramètres au design hybride, optimisé pour l’allemand et les très longs contextes.

Les faits

Un consortium de recherche allemand coordonné par le KI Bundesverband a dévoilé Soofi S 30B-A3B, un grand modèle de langage ouvert entraîné entièrement sur l’infrastructure cloud de Deutsche Telekom à Munich. Selon son rapport de pré-entraînement, il obtient les meilleurs scores sur des benchmarks en anglais et en allemand parmi les modèles entièrement ouverts et dépasse des systèmes comme OLMo 3 32B et Apertus 70B. Soofi S adopte une architecture « mixture-of-experts » avec 31,6 milliards de paramètres au total, mais seulement environ 3,2 milliards activés par jeton généré, ce qui rapproche son coût de calcul de celui d’un modèle 3B plutôt que d’un 30B classique. Le consortium reprend sans modification l’architecture de référence Nemotron 3 Nano de Nvidia, un design hybride combinant des couches Mamba-2 et des couches d’attention standard, avec seulement 6 de ses 52 couches qui maintiennent un cache KV pour l’attention. Cette conception vise la performance sur très longues séquences. À une longueur de contexte de 40 000 jetons avec 32 requêtes parallèles, Soofi S génère environ huit fois plus de jetons par seconde et par GPU que des modèles denses entre 14 et 24 milliards de paramètres. Alors que le débit des modèles conventionnels chute nettement à mesure que le contexte s’allonge, Soofi S reste presque stable entre 4 000 et 256 000 jetons, un comportement comparable uniquement au modèle Qwen3.5 35B-A3B d’Alibaba, également fondé sur une architecture hybride. Le consortium indique avoir traité environ 27 000 milliards de jetons au total, répartis sur trois phases. La première phase couvre près de 20 000 milliards de jetons issus d’un vaste mélange de textes web, de code, de mathématiques et de corpus spécialisés pour ancrer les fondamentaux linguistiques. Une deuxième phase ajoute environ 6 000 milliards de jetons provenant de sources de plus haute qualité afin d’affiner les modèles appris. Une troisième phase plus courte étend la fenêtre de contexte avec des documents très longs pouvant atteindre un million de jetons.

Pourquoi c’est important

La priorité donnée à la souveraineté linguistique allemande ressort clairement dans le choix des données d’entraînement. Dès la première phase, l’allemand représente 7,2 % du mélange, proportion portée à 15,3 % en deuxième phase, alors que la recette de référence Nemotron de Nvidia ne consacre qu’environ 5 % du total à l’ensemble des langues non anglaises. Les sources incluent des textes web allemands HPLT, le corpus German Commons sous licence ouverte, les portions allemandes de FinePDFs et FineWiki, ainsi que le corpus commercial Genios qui rassemble 193 millions d’articles de presse issus de 916 publications allemandes, complétés par des textes allemands traduits automatiquement et générés de manière synthétique. En combinant une architecture hybride très économe en calcul sur de longues séquences, une optimisation spécifique pour l’allemand et une ouverture du modèle, Soofi S se positionne comme une brique stratégique pour des applications d’IA générative à très long contexte dans l’écosystème germanophone. Le fait qu’il revendique la première place sur des benchmarks en anglais et en allemand parmi les modèles entièrement ouverts et qu’il soit entraîné sur une infrastructure industrielle nationale renforce le signal d’une volonté de construire des capacités d’IA souveraines en Europe autour de modèles de grande taille mais exploitables sur des ressources GPU limitées.

Questions fréquentes

Qu’est-ce que Soofi S 30B-A3B ?

Soofi S 30B-A3B est un grand modèle de langage ouvert de 31,6 milliards de paramètres, entraîné sur le cloud industriel de Deutsche Telekom à Munich.

Qui coordonne le consortium derrière Soofi S ?

Le consortium de recherche à l’origine de Soofi S est coordonné par le KI Bundesverband, l’Association allemande de l’IA.

Quelle est l’architecture de Soofi S ?

Soofi S est un modèle « mixture-of-experts » reprenant l’architecture hybride Nemotron 3 Nano de Nvidia, combinant Mamba-2 et attention standard.

Comment Soofi S gère les très longs contextes ?

Seules 6 de ses 52 couches conservent un cache d’attention, ce qui lui permet de maintenir un débit quasi stable jusqu’à 256 000 jetons de contexte.

Quelle place occupe l’allemand dans les données d’entraînement ?

L’allemand représente 7,2 % des données en première phase et 15,3 % en deuxième, contre environ 5 % pour toutes les langues non anglaises dans la recette Nemotron.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.