NVIDIA i IIT Madras prezentują zbiór danych do pretreningu w językach indyjskich o wielkości 2,8 biliona tokenów

NVIDIA oraz AI4Bharat, ośrodek badań nad językami indyjskimi działający przy IIT Madras, ogłosiły 16 października 2026 roku nowy korpus do pretreningu modeli o nazwie Nemotron-pretraining-Indic-v1. Zbiór zawiera około 2,8 biliona tokenów w 22 językach wymienionych w Konstytucji Indii. Partnerzy przekazali, że wkrótce zostanie on udostępniony wraz z potokiem generowania danych przyspieszanym przez GPU, użytym do jego budowy, obejmującym prompty, przepływy pracy z LLM-ami oraz kontrole jakości.

Te 22 języki są językami ojczystymi 97% Hindusów, czyli według spisu powszechnego z 2011 roku blisko 1,2 miliarda ludzi. Szef AI4Bharat Mitesh Khapra twierdzi, że technologie językowe dla języków indyjskich pozostają w tyle za angielskim, ponieważ „nie mamy wystarczającej ilości danych dla języków indyjskich”. Ośrodek wcześniej udostępnił Sangraha, otwarty korpus do pretreningu obejmujący te same 22 języki.

Co zawiera korpus

Według tokenizera Gemma-4 korpus zawiera 2601,0 miliarda tokenów w piśmie rodzimym oraz 224,6 miliarda tokenów zapisanych alfabetem łacińskim. Dwanaście języków, m.in. bengalski, hindi, tamilski, telugu i urdu, występuje zarówno w piśmie rodzimym, jak i łacińskim, a dziesięć pozostałych, w tym sanskryt, kaszmirski i santali, wyłącznie w piśmie rodzimym, co daje łącznie 34 konfiguracje język-pismo. Zespół podkreśla, że teksty w piśmie rodzimym nadal są tłumaczone z angielskiego, a rekordy zapisane alfabetem łacińskim to tekst w językach indyjskich zapisany łacinką, a nie po angielsku.

Materiał źródłowy pochodzi z 15 podzbiorów Nemotron-CC-v2 i obejmuje tekst z internetu, treści typu pytanie-odpowiedź, matematykę oraz kod. Tłumaczenie, ocena i naprawa odbywają się w NeMo Data Designer, otwartoźródłowej platformie NVIDIA do generowania danych syntetycznych, a każdy rekord zachowuje identyfikator źródła, dzięki czemu wyniki można prześledzić do oryginalnego dokumentu.

Tłumaczenie, ocena, naprawa

Dla dwunastu języków dwupismowych całe dokumenty są tłumaczone modelem Gemma-4-31B-it, z zachowaniem kodu, równań, adresów URL i formatowania. Ten sam model ocenia następnie każdy wynik względem angielskiego oryginału, korzystając z kryteriów inspirowanych Multidimensional Quality Metrics (MQM), obejmujących znaczenie, płynność, terminologię, styl i formatowanie. Zachowywane są jedynie wyniki z oceną co najmniej 75 na 100 punktów; słabsze są poprawiane na podstawie uwag i oceniane ponownie, co według zespołu pozwoliło odzyskać 438,4 miliarda tokenów. Pozostałe dziesięć języków przechodzi osobny proces tłumaczenia.

Część danych jest już wykorzystywana. Dalszy pretrening modelu Nemotron 3.5 Super VL dodał 10 miliardów tokenów w językach indyjskich, pochodzących z dwunastojęzycznego podzbioru korpusu oraz z naturalnego tekstu w tych językach. NVIDIA zapowiada, że przyszłe modele Nemotron będą na nim bazować. Autorzy zaznaczają także, że syntetyczne tłumaczenia uzupełniają, a nie zastępują naturalnie napisane teksty w językach indyjskich, które pozostają niezbędne dla lokalnej wiedzy i kontekstu kulturowego.