NVIDIA e IIT Madras presentano un dataset di pretraining in lingue indiane da 2,8 trilioni di token

NVIDIA e AI4Bharat, il laboratorio di ricerca sulle lingue indiane dell'IIT Madras, hanno annunciato il 16 ottobre 2026 un nuovo corpus per il pretraining chiamato Nemotron-pretraining-Indic-v1. Il dataset contiene circa 2,8 trilioni di token nelle 22 lingue elencate nella Costituzione indiana. I partner hanno dichiarato che sarà rilasciato a breve, insieme alla pipeline di generazione accelerata dalle GPU usata per costruirlo, comprensiva di prompt, flussi di lavoro con LLM e controlli di qualità.

Queste 22 lingue sono la lingua madre del 97% degli indiani, cioè quasi 1,2 miliardi di persone secondo il censimento del 2011. Mitesh Khapra, responsabile di AI4Bharat, sostiene che la tecnologia linguistica indiana è indietro rispetto all'inglese perché "non abbiamo abbastanza dati per le lingue indiane". In precedenza il laboratorio ha rilasciato Sangraha, un corpus open source per il pretraining delle stesse 22 lingue.

Che cosa contiene il corpus

Misurato con il tokenizer di Gemma-4, il corpus contiene 2.601,0 miliardi di token in scrittura nativa e 224,6 miliardi di token traslitterati in caratteri latini. Dodici lingue, tra cui bengalese, hindi, tamil, telugu e urdu, compaiono sia in scrittura nativa sia in alfabeto latino, mentre altre dieci, tra cui sanscrito, kashmiri e santali, sono presenti solo nella scrittura nativa, per un totale di 34 combinazioni lingua-scrittura. Il team sottolinea che anche il testo in scrittura nativa è tradotto dall'inglese e che i record traslitterati sono testo indiano scritto con lettere latine, non inglese.

Il materiale di partenza proviene da 15 sottoinsiemi di Nemotron-CC-v2, che coprono testo web, contenuti di domande e risposte, matematica e codice. Traduzione, valutazione e correzione sono eseguite con NeMo Data Designer, il framework open source di NVIDIA per i dati sintetici, e ogni record conserva il proprio identificativo di origine, così che gli output possano essere ricondotti al documento originale.

Tradurre, valutare, correggere

Per le dodici lingue a doppia scrittura, interi documenti vengono tradotti con Gemma-4-31B-it, preservando codice, equazioni, URL e formattazione. Lo stesso modello valuta poi ciascun output confrontandolo con il testo inglese di partenza, usando una griglia ispirata alle Multidimensional Quality Metrics (MQM) che considera significato, fluidità, terminologia, stile e formattazione. Vengono conservati solo gli output con un punteggio di almeno 75 su 100; quelli più deboli vengono corretti sulla base del feedback e rivalutati, passaggio che, secondo il team, ha recuperato 438,4 miliardi di token. Le restanti dieci lingue seguono un flusso di traduzione separato.

Una parte dei dati è già in uso. Il pretraining continuo di Nemotron 3.5 Super VL ha aggiunto 10 miliardi di token indiani tratti da un sottoinsieme del corpus con dodici lingue e da testo indiano scritto naturalmente, e NVIDIA afferma che i futuri modelli Nemotron si baseranno su questo lavoro. Gli autori precisano inoltre che le traduzioni sintetiche integrano, senza sostituirli, i testi indiani scritti in modo naturale, che restano essenziali per la conoscenza locale e il contesto culturale.