NVIDIA và IIT Madras ra mắt bộ dữ liệu tiền huấn luyện tiếng Ấn Độ 2,8 nghìn tỷ token

NVIDIA và AI4Bharat, phòng nghiên cứu ngôn ngữ Ấn Độ thuộc IIT Madras, ngày 16 tháng 10 năm 2026 đã công bố một kho ngữ liệu tiền huấn luyện mới mang tên Nemotron-pretraining-Indic-v1. Bộ dữ liệu có khoảng 2,8 nghìn tỷ token, bao phủ 22 ngôn ngữ được liệt kê trong Hiến pháp Ấn Độ. Hai đơn vị cho biết dữ liệu sẽ sớm được phát hành cùng quy trình sinh dữ liệu tăng tốc bằng GPU dùng để xây dựng nó, bao gồm lời nhắc, quy trình làm việc với LLM và các bước kiểm tra chất lượng.

Theo Tổng điều tra dân số năm 2011, 22 ngôn ngữ này là tiếng mẹ đẻ của 97% người Ấn Độ, tương đương gần 1,2 tỷ người. Giám đốc AI4Bharat Mitesh Khapra cho rằng công nghệ ngôn ngữ Ấn Độ đang tụt hậu so với tiếng Anh vì "chúng tôi không có đủ dữ liệu cho các ngôn ngữ Ấn Độ." Trước đó, phòng thí nghiệm đã phát hành Sangraha, một kho ngữ liệu tiền huấn luyện mở cho cùng 22 ngôn ngữ này.

Kho ngữ liệu chứa gì

Đo bằng bộ tokenizer của Gemma-4, kho ngữ liệu có 2.601,0 tỷ token viết bằng chữ bản địa và 224,6 tỷ token được La-tinh hóa. Mười hai ngôn ngữ, trong đó có tiếng Bengal, Hindi, Tamil, Telugu và Urdu, xuất hiện cả ở chữ bản địa lẫn chữ Latin; mười ngôn ngữ còn lại, bao gồm tiếng Sanskrit, Kashmir và Santali, chỉ có chữ bản địa. Tổng cộng có 34 cấu hình ngôn ngữ–chữ viết. Nhóm nghiên cứu nhấn mạnh rằng văn bản chữ bản địa vẫn được dịch từ tiếng Anh, còn các bản ghi La-tinh hóa là văn bản tiếng Ấn Độ viết bằng chữ Latin chứ không phải tiếng Anh.

Nguồn dữ liệu đến từ 15 tập con của Nemotron-CC-v2, bao gồm văn bản web, nội dung hỏi đáp, toán học và mã nguồn. Việc dịch, chấm điểm và sửa lỗi được thực hiện trên NeMo Data Designer, framework dữ liệu tổng hợp mã nguồn mở của NVIDIA. Mỗi bản ghi giữ lại mã định danh nguồn để có thể truy vết kết quả về tài liệu gốc.

Dịch, chấm điểm, sửa lỗi

Với 12 ngôn ngữ dùng cả hai chữ viết, toàn bộ tài liệu được dịch bằng Gemma-4-31B-it, đồng thời giữ nguyên mã, công thức, URL và định dạng. Chính mô hình này sau đó chấm điểm từng bản dịch so với bản gốc tiếng Anh theo một bộ tiêu chí lấy cảm hứng từ Multidimensional Quality Metrics (MQM), gồm ý nghĩa, độ trôi chảy, thuật ngữ, văn phong và định dạng. Chỉ những bản dịch đạt từ 75 trên 100 điểm trở lên được giữ lại; bản yếu hơn được sửa dựa trên phản hồi và chấm lại. Nhóm nghiên cứu cho biết bước này đã cứu được 438,4 tỷ token. Mười ngôn ngữ còn lại đi qua một quy trình dịch riêng.

Một phần dữ liệu đã được đưa vào sử dụng. Quá trình tiếp tục huấn luyện Nemotron 3.5 Super VL đã bổ sung 10 tỷ token tiếng Ấn Độ, lấy từ tập con mười hai ngôn ngữ của kho ngữ liệu và từ văn bản tiếng Ấn Độ được viết tự nhiên. NVIDIA cho biết các mô hình Nemotron tương lai sẽ được xây dựng trên nền tảng này. Các tác giả cũng lưu ý rằng bản dịch tổng hợp chỉ bổ sung chứ không thay thế văn bản tiếng Ấn Độ được viết tự nhiên, vốn vẫn thiết yếu đối với tri thức địa phương và bối cảnh văn hóa.