NVIDIA lance un corpus géant pour 22 langues indiennes

Résumé

NVIDIA et AI4Bharat annoncent un corpus ouvert de 2,8 billions de jetons pour 22 langues indiennes, accompagné d’un pipeline GPU réutilisable.

Les faits

NVIDIA, en collaboration avec IIT Madras et son laboratoire AI4Bharat, présente Nemotron-pretraining-Indic-v1, un corpus d’environ 2,8 billions de jetons couvrant 22 langues indiennes. Ces langues sont celles qui figurent dans la Constitution indienne et constituent les premières langues de 97 % de la population indienne, soit près de 1,2 milliard de personnes selon le recensement de 2011. Le corpus rassemble 2 601,0 milliards de jetons en écriture native et 224,6 milliards de jetons romanisés. Il comprend des données en écriture native pour les 22 langues et du texte romanisé pour douze d’entre elles, soit 34 configurations langue-écriture. Les langues couvertes comprennent notamment le bengali, le gujarati, l’hindi, le kannada, le malayalam, le marathi, le népalais, l’odia, le pendjabi, le tamoul, le télougou et l’ourdou, ainsi que l’assamais, le bodo, le dogri, le cachemiri, le konkani, le maithili, le manipuri, le sanskrit, le santali et le sindhi. Les données sont produites à partir de 15 sous-ensembles de Nemotron-CC-v2, comprenant des contenus web, des questions-réponses, des mathématiques, du code et d’autres contenus spécialisés. Le pipeline GPU ouvert s’appuie sur NeMo Data Designer pour effectuer la traduction, l’évaluation de la qualité et des réparations ciblées. Chaque résultat conserve l’identifiant de son document source afin de permettre sa traçabilité. Le corpus comprend des contenus anglais sélectionnés, notamment des mathématiques, du code et des questions-réponses, adaptés dans les langues indiennes. Les contrôles vérifient la concordance avec le document d’origine et la préservation d’éléments comme les équations, les tableaux et le code. Le préentraînement continu de Nemotron 3.5 Super VL a déjà intégré 10 milliards de jetons indiens issus d’un sous-ensemble de douze langues et de textes indiens naturels.

Pourquoi c’est important

Cette annonce vise un déficit structurel des modèles de langage en langues indiennes. Comme le résume Mitesh Khapra : « nous n’avons pas suffisamment de données pour les langues indiennes ». La publication conjointe du corpus et de la méthode de génération donne aux équipes de recherche une base plus vaste pour entraîner des modèles capables d’expliquer des concepts techniques, de résoudre des problèmes et de répondre à des questions dans ces langues. L’ouverture du pipeline dépasse la simple diffusion d’un jeu de données. Les développeurs peuvent réutiliser directement le corpus, adapter les invites et les contrôles de qualité, ou fournir leurs propres documents sources. Cette approche rend la génération de données à grande échelle plus accessible, tout en conservant une distinction entre les textes synthétiques et les contenus indiens rédigés naturellement, essentiels aux connaissances locales et au contexte culturel.

Questions fréquentes

Que contient Nemotron-pretraining-Indic-v1 ?

Environ 2,8 billions de jetons couvrant 22 langues indiennes, avec des données en écriture native pour toutes et du texte romanisé pour douze d’entre elles.

Combien de configurations langue-écriture sont couvertes ?

Le corpus couvre 34 configurations langue-écriture : 22 en écriture native et 12 avec des données romanisées.

Quel pipeline a servi à produire les données ?

Le pipeline GPU ouvert utilise NeMo Data Designer pour la traduction, l’évaluation de la qualité et les réparations ciblées.

Les données sont-elles traçables ?

Oui. Chaque sortie conserve l’identifiant du document source, afin de relier le contenu généré à son document d’origine.

Combien de jetons indiens ont été ajoutés à Nemotron 3.5 Super VL ?

Le préentraînement continu a ajouté 10 milliards de jetons indiens issus d’un sous-ensemble de douze langues et de textes indiens naturels.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.