NVIDIA en IIT Madras presenteren pretrainingdataset van 2,8 biljoen tokens voor Indiase talen

NVIDIA en AI4Bharat, het onderzoekslab voor Indiase talen aan IIT Madras, kondigden op 16 oktober 2026 een nieuw pretrainingcorpus aan met de naam Nemotron-pretraining-Indic-v1. De dataset bevat ongeveer 2,8 biljoen tokens in de 22 talen die in de Indiase grondwet zijn opgenomen. De partners zeggen dat het corpus binnenkort wordt vrijgegeven, samen met de door GPU's versnelde generatiepipeline die voor de bouw is gebruikt, inclusief prompts, LLM-workflows en kwaliteitscontroles.

Die 22 talen zijn de eerste taal van 97 procent van de Indiërs, goed voor bijna 1,2 miljard mensen volgens de volkstelling van 2011. AI4Bharat-hoofd Mitesh Khapra stelt dat de technologie voor Indiase talen achterloopt op het Engels omdat "we niet genoeg data voor Indiase talen hebben". Het lab bracht eerder Sangraha uit, een open pretrainingcorpus voor dezelfde 22 talen.

Wat het corpus bevat

Gemeten met de Gemma-4-tokenizer bevat het corpus 2.601,0 miljard tokens in het eigen schrift en 224,6 miljard geromaniseerde tokens. Twaalf talen, waaronder Bengaals, Hindi, Tamil, Telugu en Urdu, komen zowel in het eigen schrift als in Latijns schrift voor, terwijl tien andere, waaronder Sanskriet, Kasjmiri en Santali, alleen in het eigen schrift zijn. Dat zijn samen 34 taal-schriftcombinaties. Het team benadrukt dat tekst in het eigen schrift nog steeds uit het Engels is vertaald en dat geromaniseerde records Indiase tekst in Latijnse letters zijn, en geen Engels.

Het brononmateriaal komt uit 15 subsets van Nemotron-CC-v2 en omvat webtekst, vraag-en-antwoordinhoud, wiskunde en code. Vertaling, scoring en herstel draaien op NeMo Data Designer, het open-source framework van NVIDIA voor synthetische data. Elk record behoudt zijn bron-ID, zodat de output naar het oorspronkelijke document te herleiden is.

Vertalen, scoren, herstellen

Voor de twaalf talen met twee schriften worden volledige documenten vertaald met Gemma-4-31B-it, waarbij code, vergelijkingen, URL's en opmaak behouden blijven. Hetzelfde model beoordeelt vervolgens elke output ten opzichte van de Engelse bron aan de hand van een beoordelingsschema dat is geïnspireerd op Multidimensional Quality Metrics (MQM) en de criteria betekenis, vloeiendheid, terminologie, stijl en opmaak omvat. Alleen outputs met minstens 75 op 100 blijven behouden. Zwakkere outputs worden met de feedback hersteld en opnieuw gescoord, een stap waarmee het team volgens eigen zeggen 438,4 miljard tokens heeft teruggewonnen. De overige tien talen doorlopen een afzonderlijke vertaalworkflow.

Een deel van de data wordt al gebruikt. Voortgezet pretrainen van Nemotron 3.5 Super VL voegde 10 miljard Indiase tokens toe, afkomstig uit een subset van het corpus met twaalf talen en uit natuurlijke Indiase tekst. NVIDIA zegt dat toekomstige Nemotron-modellen hierop zullen voortbouwen. De auteurs wijzen er ook op dat synthetische vertalingen natuurlijk geschreven Indiase tekst aanvullen en niet vervangen, en dat die tekst essentieel blijft voor lokale kennis en culturele context.