NVIDIA और IIT मद्रास ने 2.8 ट्रिलियन टोकन वाला भारतीय भाषा प्रीट्रेनिंग डेटासेट पेश किया

NVIDIA और IIT मद्रास की भारतीय भाषा शोध लैब AI4Bharat ने 16 अक्टूबर 2026 को Nemotron-pretraining-Indic-v1 नाम के एक नए प्रीट्रेनिंग कॉर्पस की घोषणा की। इस डेटासेट में भारत के संविधान में सूचीबद्ध 22 भाषाओं में लगभग 2.8 ट्रिलियन टोकन हैं। साझेदारों ने कहा कि इसे जल्द जारी किया जाएगा, साथ में वह GPU-आधारित जनरेशन पाइपलाइन भी, जिससे इसे बनाया गया है, जिसमें प्रॉम्प्ट, LLM वर्कफ़्लो और गुणवत्ता जाँच शामिल हैं।

ये 22 भाषाएँ 2011 की जनगणना के अनुसार लगभग 1.2 अरब लोगों, यानी 97% भारतीयों, की पहली भाषा हैं। AI4Bharat के प्रमुख मितेश खापड़ा का तर्क है कि भारतीय भाषा तकनीक अंग्रेज़ी से पीछे इसलिए है क्योंकि "हमारे पास भारतीय भाषाओं के लिए पर्याप्त डेटा नहीं है।" लैब ने पहले इन्हीं 22 भाषाओं के लिए एक ओपन प्रीट्रेनिंग कॉर्पस Sangraha जारी किया था।

कॉर्पस में क्या है

Gemma-4 टोकनाइज़र से मापने पर इस कॉर्पस में 2,601.0 अरब मूल-लिपि टोकन और 224.6 अरब रोमनीकृत टोकन हैं। बंगाली, हिंदी, तमिल, तेलुगु और उर्दू सहित बारह भाषाएँ मूल और लैटिन, दोनों लिपियों में मौजूद हैं, जबकि सैंस्कृत, कश्मीरी और संथाली सहित अन्य दस भाषाएँ केवल मूल लिपि में हैं, जिससे कुल 34 भाषा-लिपि संयोजन बनते हैं। टीम ज़ोर देकर कहती है कि मूल-लिपि पाठ भी अंग्रेज़ी से अनूदित है, और रोमनीकृत रिकॉर्ड अंग्रेज़ी नहीं, बल्कि लैटिन अक्षरों में लिखा भारतीय भाषाओं का पाठ हैं।

स्रोत सामग्री Nemotron-CC-v2 के 15 उपसमूहों से आती है, जिनमें वेब टेक्स्ट, प्रश्न-उत्तर सामग्री, गणित और कोड शामिल हैं। अनुवाद, स्कोरिंग और सुधार NVIDIA के ओपन-सोर्स सिंथेटिक डेटा फ़्रेमवर्क NeMo Data Designer पर चलते हैं, और हर रिकॉर्ड अपना स्रोत पहचानकर्ता बनाए रखता है ताकि आउटपुट को मूल दस्तावेज़ तक वापस खोजा जा सके।

अनुवाद, स्कोर, सुधार

दोहरी-लिपि वाली बारह भाषाओं के लिए पूरे दस्तावेज़ Gemma-4-31B-it से अनूदित किए जाते हैं, और कोड, समीकरण, URL और फ़ॉर्मेटिंग सुरक्षित रखी जाती है। वही मॉडल फिर Multidimensional Quality Metrics (MQM) से प्रेरित एक रूब्रिक के आधार पर हर आउटपुट को उसके अंग्रेज़ी स्रोत से मिलाकर ग्रेड करता है, जिसमें अर्थ, प्रवाह, शब्दावली, शैली और फ़ॉर्मेटिंग शामिल हैं। केवल 100 में से कम से कम 75 अंक पाने वाले आउटपुट रखे जाते हैं; कमज़ोर आउटपुट को फ़ीडबैक के आधार पर सुधारकर फिर से स्कोर किया जाता है, और टीम के अनुसार इस चरण में 438.4 अरब टोकन बचाए गए। शेष दस भाषाएँ एक अलग अनुवाद वर्कफ़्लो से गुज़रती हैं।

डेटा का एक हिस्सा पहले से उपयोग में है। Nemotron 3.5 Super VL के निरंतर प्रीट्रेनिंग में कॉर्पस के बारह-भाषा उपसमूह और प्राकृतिक भारतीय पाठ से 10 अरब भारतीय भाषा टोकन जोड़े गए, और NVIDIA का कहना है कि भविष्य के Nemotron मॉडल इसी पर आधारित होंगे। लेखक यह भी नोट करते हैं कि सिंथेटिक अनुवाद स्वाभाविक रूप से लिखे गए भारतीय भाषा पाठ की जगह नहीं, बल्कि उसके पूरक हैं, और स्थानीय ज्ञान व सांस्कृतिक संदर्भ के लिए वह पाठ अब भी अनिवार्य है।