NVIDIA ve IIT Madras, 22 Hint dili için 2,8 trilyon tokenlik veri seti duyurdu

NVIDIA ve Hindistan'ın önde gelen mühendislik kurumu IIT Madras'ın dil araştırma laboratuvarı AI4Bharat, 16 Ekim 2026'da Nemotron-pretraining-Indic-v1 adlı yeni bir ön eğitim veri setini duyurdu. Yaklaşık 2,8 trilyon token içeren set, Hindistan Anayasası'nda sayılan 22 dili kapsıyor. Ekipler, veriyi üretmek için kullandıkları GPU hızlandırmalı hattı da veri setiyle birlikte yakında açık kaynak olarak paylaşacaklarını açıkladı.

Söz konusu 22 dil, 2011 nüfus sayımına göre Hindistan nüfusunun yüzde 97'sinin, yani yaklaşık 1,2 milyar kişinin ana dili. AI4Bharat'ın başındaki Mitesh Khapra, Hint dili teknolojilerinin İngilizcenin gerisinde kalmasının temel nedenini "Hint dilleri için yeterli verimiz yok" sözleriyle özetlemişti.

Veri setinde neler var

Ekibin verdiği bilgiye göre korpus, Gemma-4 tokenizer ile sayıldığında 2.601 milyar yerel alfabeli ve 224,6 milyar Latin harfli (romanize) token içeriyor. Bengalce, Hintçe, Tamilce, Urduca ve Marathi gibi 12 dil hem yerel alfabe hem de Latin harfleriyle yer alırken, Sanskritçe, Keşmirce ve Santali gibi 10 dil yalnızca yerel alfabeyle temsil ediliyor. Böylece toplam 34 dil-alfabe kombinasyonu ortaya çıkıyor. Yerel alfabeli metinlerin de İngilizceden çevrildiği, romanize metinlerin ise İngilizce çeviri değil Latin harfleriyle yazılmış Hint dili metni olduğu vurgulanıyor.

Kaynak materyal, Nemotron-CC-v2'nin web metni, soru-cevap, matematik ve kod gibi alanları kapsayan 15 alt kümesinden alınan İngilizce belgeler. Çeviri, kalite değerlendirmesi ve onarım adımları NVIDIA'nın açık kaynaklı sentetik veri çerçevesi NeMo Data Designer ile yürütülüyor. Her kaydın kaynak kimliği korunarak çıktının özgün belgeye kadar izlenebilmesi sağlanıyor.

Çeviri, puanlama ve onarım

12 dillik iş akışında belgeler bütün olarak Gemma-4-31B-it modeliyle çevriliyor; kod, denklem, URL ve biçimlendirme korunuyor. Aynı model, Multidimensional Quality Metrics (MQM) çerçevesinden esinlenen bir ölçütle anlam, akıcılık, terminoloji, üslup ve biçimi puanlıyor. Yalnızca 100 üzerinden en az 75 alan çıktılar tutuluyor; düşük puanlılar geri bildirimle onarılıp yeniden değerlendiriliyor. Ekip, bu onarım sürecinin 438,4 milyar tokeni kurtardığını belirtiyor. Diğer 10 dil için ayrı bir çeviri iş akışı kullanılıyor.

Veri setinin bir bölümü şimdiden kullanıldı: Nemotron 3.5 Super VL modelinin sürdürülen ön eğitimine, bu korpusun 12 dillik alt kümesinden ve doğal Hint dili metinlerinden derlenen 10 milyar token eklendi. NVIDIA, korpusu gelecekteki Nemotron modellerinde de geliştirmeyi planladığını söylüyor. Ekip, sentetik verinin yerel bilgi ve kültürel bağlam için gerekli olan doğal metinlerin yerini tutmadığını, onları tamamladığını da not ediyor.