NVIDIA、IIT マドラスと2.8兆トークンのインド言語事前学習データセットを発表

NVIDIAとIIT マドラスのインド言語研究ラボAI4Bharatは2026年10月16日、「Nemotron-pretraining-Indic-v1」と名付けた新たな事前学習用コーパスを発表した。インド憲法に列挙された22言語にまたがり、約2.8兆トークンを含むという。両者は、プロンプト、LLMワークフロー、品質チェックを含むGPUアクセラレーション対応の生成パイプラインとともに、近くこのデータセットを公開すると述べている。

これら22言語は、2011年の国勢調査によれば、インド人の97%、約12億人の母語にあたる。AI4Bharatのミテーシュ・カプラ所長は、「インド言語のデータが十分にないため」、インド言語の技術は英語に後れを取っていると指摘している。同研究所はこれまでにも、同じ22言語を対象としたオープンな事前学習コーパス「Sangraha」を公開している。

コーパスの内容

Gemma-4トークナイザーで計測したところ、このコーパスには母語表記のトークンが2,601.0億、ローマ字表記のトークンが2,246億含まれる。ベンガル語、ヒンディー語、タミル語、テルグ語、ウルドゥー語を含む12言語は母語表記とラテン文字表記の両方で収録され、サンスクリット語、カシミール語、サンタリ語を含む残り10言語は母語表記のみで、合計34の言語・表記の組み合わせとなる。チームは、母語表記のテキストも英語からの翻訳であり、ローマ字表記のレコードは英語ではなくラテン文字で書かれたインド言語のテキストである点を強調している。

元資料はNemotron-CC-v2の15のサブセットで、ウェブテキスト、質問応答コンテンツ、数学、コードを含む。翻訳、採点、修復はNVIDIAのオープンソース合成データフレームワーク「NeMo Data Designer」上で実行され、各レコードは元の文書まで遡れるよう出典識別子を保持している。

翻訳、採点、修復

二表記の12言語については、コードや数式、URL、書式を保持したまま、文書全体をGemma-4-31B-itで翻訳する。同じモデルが、多次元品質指標（MQM）を参考にした評価基準により、各出力を英語原文と照合して採点する。評価項目は、意味、流暢さ、用語、文体、書式である。75点以上の出力のみを採用し、それ未満のものはフィードバックを用いて修復し再採点する。この工程により4,384億トークンを回収できたとチームは述べている。残る10言語は別個の翻訳ワークフローで処理される。

すでに一部のデータは活用されている。Nemotron 3.5 Super VLの継続事前学習では、コーパスの12言語サブセットと自然なインド言語テキストから抽出した100億のインド言語トークンが追加された。NVIDIAは今後のNemotronモデルもこのデータを基盤にするとしている。著者らはまた、合成翻訳は自然に書かれたインド言語テキストに取って代わるものではなく補完するものであり、地域の知識や文化的文脈のためには後者が依然として不可欠だと指摘している。