NVIDIA et IIT Madras dévoilent un corpus de pré-entraînement indien de 2,8 billions de tokens

NVIDIA et AI4Bharat, le laboratoire de recherche sur les langues indiennes de l'IIT Madras, ont annoncé le 16 octobre 2026 un nouveau corpus de pré-entraînement baptisé Nemotron-pretraining-Indic-v1. Le jeu de données compte environ 2,8 billions de tokens répartis sur les 22 langues figurant dans la Constitution indienne. Les partenaires indiquent qu'il sera publié prochainement, avec le pipeline de génération accéléré par GPU utilisé pour le construire, incluant les prompts, les workflows de LLM et les contrôles de qualité.

Ces 22 langues sont la langue maternelle de 97 % des Indiens, soit près de 1,2 milliard de personnes selon le recensement de 2011. Mitesh Khapra, responsable d'AI4Bharat, estime que les technologies en langues indiennes accusent un retard par rapport à l'anglais parce que « nous ne disposons pas de suffisamment de données pour les langues indiennes ». Le laboratoire a précédemment publié Sangraha, un corpus de pré-entraînement ouvert couvrant ces mêmes 22 langues.

Ce que contient le corpus

Mesuré avec le tokenizer de Gemma-4, le corpus compte 2 601,0 milliards de tokens en écriture native et 224,6 milliards de tokens translittérés en alphabet latin. Douze langues, parmi lesquelles le bengali, le hindi, le tamoul, le telugu et l'ourdou, apparaissent à la fois en écriture native et en alphabet latin, tandis que dix autres, dont le sanskrit, le cachemiri et le santali, ne figurent qu'en écriture native, soit 34 configurations langue-écriture au total. L'équipe souligne que les textes en écriture native sont toujours traduits de l'anglais et que les enregistrements translittérés sont des textes indiens écrits en lettres latines, et non de l'anglais.

Le matériau source provient de 15 sous-ensembles de Nemotron-CC-v2, couvrant le texte web, les contenus de questions-réponses, les mathématiques et le code. La traduction, la notation et la réparation s'effectuent avec NeMo Data Designer, le framework open source de données synthétiques de NVIDIA, et chaque enregistrement conserve son identifiant source afin que les résultats puissent être retracés jusqu'au document d'origine.

Traduire, évaluer, réparer

Pour les douze langues à double écriture, des documents entiers sont traduits avec Gemma-4-31B-it, en préservant le code, les équations, les URL et la mise en forme. Le même modèle évalue ensuite chaque résultat par rapport à sa source anglaise à l'aide d'une grille inspirée des Multidimensional Quality Metrics (MQM), couvrant le sens, la fluidité, la terminologie, le style et la mise en forme. Seuls les résultats obtenant au moins 75 sur 100 sont conservés ; les autres sont réparés à partir des retours du modèle puis réévalués, une étape qui, selon l'équipe, a permis de récupérer 438,4 milliards de tokens. Les dix langues restantes suivent un workflow de traduction distinct.

Une partie des données est déjà utilisée. Le pré-entraînement continu de Nemotron 3.5 Super VL a ajouté 10 milliards de tokens indiens, issus d'un sous-ensemble de douze langues du corpus et de textes indiens naturels, et NVIDIA affirme que les futurs modèles Nemotron s'appuieront sur ce travail. Les auteurs notent également que les traductions synthétiques complètent les textes indiens rédigés naturellement sans les remplacer, ces derniers restant essentiels pour les connaissances locales et le contexte culturel.