NVIDIA und IIT Madras stellen Pretraining-Datensatz mit 2,8 Billionen Token für indische Sprachen vor

NVIDIA und AI4Bharat, das auf indische Sprachen spezialisierte Forschungslabor am IIT Madras, haben am 16. Oktober 2026 ein neues Pretraining-Korpus namens Nemotron-pretraining-Indic-v1 angekündigt. Der Datensatz umfasst rund 2,8 Billionen Token in den 22 Sprachen, die in der indischen Verfassung aufgeführt sind. Die Partner teilten mit, dass er zusammen mit der GPU-beschleunigten Generierungspipeline, die für seinen Aufbau genutzt wurde, bald veröffentlicht werden soll. Dazu gehören Prompts, LLM-Workflows und Qualitätsprüfungen.

Diese 22 Sprachen sind laut Volkszählung von 2011 die Muttersprachen von 97 Prozent der Inderinnen und Inder, also von rund 1,2 Milliarden Menschen. AI4Bharat-Leiter Mitesh Khapra argumentiert, dass die Sprachtechnologie für indische Sprachen hinter dem Englischen zurückliegt, weil „wir nicht genug Daten für indische Sprachen haben“. Das Labor hat zuvor Sangraha veröffentlicht, ein offenes Pretraining-Korpus für dieselben 22 Sprachen.

Was das Korpus enthält

Gemessen mit dem Gemma-4-Tokenizer enthält das Korpus 2.601,0 Milliarden Token in der jeweiligen Originalschrift und 224,6 Milliarden romanisierte Token. Zwölf Sprachen, darunter Bengalisch, Hindi, Tamil, Telugu und Urdu, erscheinen sowohl in der Originalschrift als auch in lateinischer Schrift. Zehn weitere, darunter Sanskrit, Kaschmirisch und Santali, liegen nur in der Originalschrift vor. Insgesamt ergibt das 34 Sprach-Schrift-Kombinationen. Das Team betont, dass auch die Texte in Originalschrift aus dem Englischen übersetzt sind und dass romanisierte Datensätze indische Texte in lateinischen Buchstaben sind und kein Englisch.

Das Ausgangsmaterial stammt aus 15 Teilmengen von Nemotron-CC-v2 und umfasst Webtexte, Frage-Antwort-Inhalte, Mathematik und Code. Übersetzung, Bewertung und Reparatur laufen über NeMo Data Designer, das quelloffene Framework für synthetische Daten von NVIDIA. Jeder Datensatz behält seine Quellkennung, sodass sich Ergebnisse auf das Originaldokument zurückverfolgen lassen.

Übersetzen, bewerten, reparieren

Für die zwölf Sprachen mit zwei Schriften werden ganze Dokumente mit Gemma-4-31B-it übersetzt, wobei Code, Formeln, URLs und Formatierung erhalten bleiben. Dasselbe Modell bewertet anschließend jede Ausgabe im Vergleich zur englischen Vorlage anhand eines Kriterienkatalogs, der von den Multidimensional Quality Metrics (MQM) inspiriert ist und Bedeutung, Flüssigkeit, Terminologie, Stil und Formatierung abdeckt. Nur Ergebnisse mit mindestens 75 von 100 Punkten werden behalten. Schwächere werden anhand des Feedbacks überarbeitet und erneut bewertet. Laut Team wurden so 438,4 Milliarden Token zurückgewonnen. Die übrigen zehn Sprachen durchlaufen einen separaten Übersetzungsworkflow.

Ein Teil der Daten wird bereits eingesetzt. Das kontinuierliche Pretraining von Nemotron 3.5 Super VL hat 10 Milliarden indische Token hinzugefügt, die aus einer Teilmenge des Korpus mit zwölf Sprachen und aus natürlich verfasstem indischem Text stammen. NVIDIA erklärt, dass künftige Nemotron-Modelle darauf aufbauen werden. Die Autoren betonen außerdem, dass synthetische Übersetzungen natürlich geschriebene indische Texte ergänzen, aber nicht ersetzen. Letztere bleiben für lokales Wissen und kulturellen Kontext unverzichtbar.