NVIDIA与印度理工学院马德拉斯分校推出2.8万亿词元印度语预训练数据集

NVIDIA与印度理工学院马德拉斯分校专注印度语言研究的实验室AI4Bharat于2026年10月16日宣布推出一个名为Nemotron-pretraining-Indic-v1的新预训练语料库。该数据集约包含2.8万亿词元，涵盖印度宪法列出的22种语言。合作方表示，该数据集将很快发布，同时发布的还有用于构建数据的GPU加速生成流程，其中包括提示词、大语言模型工作流和质量检查。

据2011年人口普查数据，这22种语言是97%印度人的第一语言，使用者接近12亿人。AI4Bharat负责人米特什·卡普拉（Mitesh Khapra）认为，印度语言技术落后于英语，原因在于“印度语言的数据不足”。此前，该实验室已发布Sangraha，这是一个面向同样22种语言的开放预训练语料库。

语料库包含什么

使用Gemma-4分词器测算，该语料库包含2601.0亿个母语文字词元和2246亿个罗马化词元。其中孟加拉语、印地语、泰米尔语、泰卢固语和乌尔都语等12种语言同时以母语文字和拉丁字母两种形式出现；另外10种语言，包括梵语、克什米尔语和桑塔利语，仅有母语文字版本，总计形成34种语言-文字组合。团队强调，母语文字文本仍是从英语翻译而来的，而罗马化记录是以拉丁字母书写的印度语文本，而非英语。

源材料取自Nemotron-CC-v2的15个子集，涵盖网页文本、问答内容、数学和代码。翻译、评分和修复工作基于NVIDIA的开源合成数据框架NeMo Data Designer完成，每条记录都保留其源标识符，以便将输出追溯至原始文档。

翻译、评分与修复

对于12种双文字语言，整篇文档由Gemma-4-31B-it翻译，并保留代码、公式、网址和格式。随后，同一模型依据受多维质量度量（MQM）启发的评分标准，将每条输出与英文原文进行对比打分，评估维度包括语义、流畅度、术语、风格和格式。只有得分至少为75分（满分100分）的输出会被保留；得分较低的则根据反馈进行修复并重新评分，团队称此步骤挽回了4384亿个词元。其余10种语言则采用单独的翻译流程。

部分数据已投入使用。Nemotron 3.5 Super VL的持续预训练新增了100亿个印度语词元，这些词元取自该语料库的12语言子集以及天然的印度语文本，NVIDIA表示未来的Nemotron模型将以此为基础。作者还指出，合成翻译文本是对天然书写的印度语文本的补充而非替代，后者对于保留本地知识和文化语境仍然至关重要。