NVIDIA dan IIT Madras Perkenalkan Dataset Pretraining Bahasa India 2,8 Triliun Token

NVIDIA dan AI4Bharat, laboratorium riset bahasa India di IIT Madras, mengumumkan pada 16 Oktober 2026 korpus pretraining baru bernama Nemotron-pretraining-Indic-v1. Dataset ini berisi sekitar 2,8 triliun token dalam 22 bahasa yang tercantum dalam Konstitusi India. Kedua mitra menyatakan dataset tersebut akan segera dirilis bersama pipeline pembangkitan yang dipercepat GPU dan digunakan untuk membangunnya, termasuk prompt, alur kerja LLM, dan pemeriksaan kualitas.

Ke-22 bahasa tersebut adalah bahasa ibu bagi 97% penduduk India, atau hampir 1,2 miliar orang menurut Sensus 2011. Kepala AI4Bharat Mitesh Khapra berpendapat bahasa teknologi India tertinggal dari bahasa Inggris karena "kami tidak memiliki cukup data untuk bahasa India." Lab ini sebelumnya merilis Sangraha, korpus pretraining terbuka untuk 22 bahasa yang sama.

Isi korpus

Diukur dengan tokenizer Gemma-4, korpus ini berisi 2.601,0 miliar token dalam aksara asli dan 224,6 miliar token dalam aksara Latin. Dua belas bahasa, di antaranya Bengali, Hindi, Tamil, Telugu, dan Urdu, muncul dalam aksara asli sekaligus aksara Latin, sementara sepuluh bahasa lain, termasuk Sanskerta, Kashmir, dan Santali, hanya dalam aksara asli, sehingga totalnya 34 konfigurasi bahasa-aksara. Tim menegaskan bahwa teks aksara asli tetap diterjemahkan dari bahasa Inggris, dan bahwa rekaman aksara Latin adalah teks India yang ditulis dengan huruf Latin, bukan bahasa Inggris.

Materi sumber berasal dari 15 subset Nemotron-CC-v2, mencakup teks web, konten tanya jawab, matematika, dan kode. Penerjemahan, penilaian, dan perbaikan dijalankan di NeMo Data Designer, kerangka kerja data sintetis open-source milik NVIDIA, dan setiap rekaman menyimpan pengenal sumbernya sehingga keluarannya dapat ditelusuri kembali ke dokumen asli.

Terjemahkan, nilai, perbaiki

Untuk dua belas bahasa dengan dua aksara, seluruh dokumen diterjemahkan menggunakan Gemma-4-31B-it dengan tetap mempertahankan kode, persamaan, URL, dan format. Model yang sama kemudian menilai setiap keluaran terhadap sumber bahasa Inggrisnya menggunakan rubrik yang terinspirasi dari Multidimensional Quality Metrics (MQM), yang mencakup makna, kelancaran, terminologi, gaya, dan format. Hanya keluaran dengan skor minimal 75 dari 100 yang dipertahankan; yang lebih lemah diperbaiki berdasarkan umpan balik dan dinilai ulang, langkah yang menurut tim berhasil memulihkan 438,4 miliar token. Sepuluh bahasa lainnya melalui alur kerja penerjemahan terpisah.

Sebagian data sudah digunakan. Pretraining lanjutan Nemotron 3.5 Super VL menambahkan 10 miliar token bahasa India yang diambil dari subset dua belas bahasa dalam korpus serta dari teks bahasa India alami, dan NVIDIA menyatakan model Nemotron mendatang akan dibangun di atasnya. Para penulis juga mencatat bahwa terjemahan sintetis melengkapi, bukan menggantikan, teks bahasa India yang ditulis secara alami, yang tetap penting untuk pengetahuan lokal dan konteks budaya.