NVIDIA ও IIT মাদ্রাজ ২.৮ ট্রিলিয়ন টোকেনের ভারতীয় ভাষার প্রি-ট্রেনিং ডেটাসেট প্রকাশ করছে

NVIDIA এবং ভারতীয় ভাষা নিয়ে গবেষণাকারী IIT মাদ্রাজের ল্যাব AI4Bharat ২০২৬ সালের ১৬ অক্টোবর ঘোষণা করেছে যে তারা Nemotron-pretraining-Indic-v1 নামে একটি নতুন প্রি-ট্রেনিং কর্পাস আনছে। ডেটাসেটে ভারতের সংবিধানে তালিকাভুক্ত ২২টি ভাষায় প্রায় ২.৮ ট্রিলিয়ন টোকেন রয়েছে। অংশীদারেরা জানিয়েছে, এটি শীঘ্রই প্রকাশ করা হবে, সঙ্গে থাকবে এটি তৈরিতে ব্যবহৃত GPU-ত্বরিত জেনারেশন পাইপলাইন, যার মধ্যে প্রম্পট, LLM ওয়ার্কফ্লো ও গুণমান যাচাইয়ের ব্যবস্থা অন্তর্ভুক্ত।

২০১১ সালের জনগণনা অনুযায়ী, এই ২২টি ভাষা ভারতের ৯৭% মানুষের প্রথম ভাষা, যা প্রায় ১২০ কোটি মানুষ। AI4Bharat-এর প্রধান মিতেশ খাপড়া যুক্তি দিয়েছেন, ভারতীয় ভাষার প্রযুক্তি ইংরেজির তুলনায় পিছিয়ে কারণ "ভারতীয় ভাষার জন্য যথেষ্ট ডেটা আমাদের কাছে নেই।" ল্যাবটি এর আগে একই ২২টি ভাষার জন্য উন্মুক্ত প্রি-ট্রেনিং কর্পাস Sangraha প্রকাশ করেছিল।

কর্পাসে কী আছে

Gemma-4 টোকেনাইজার দিয়ে পরিমাপ করলে, কর্পাসে রয়েছে ২,৬০১.০ বিলিয়ন নেটিভ-স্ক্রিপ্ট টোকেন এবং ২২৪.৬ বিলিয়ন রোমানাইজড টোকেন। বাংলা, হিন্দি, তামিল, তেলুগু ও উর্দুসহ বারোটি ভাষা নেটিভ ও ল্যাটিন দুই স্ক্রিপ্টেই রয়েছে, আর সংস্কৃত, কাশ্মীরি ও সাঁওতালিসহ বাকি দশটি শুধু নেটিভ স্ক্রিপ্টে রয়েছে, মোট ৩৪টি ভাষা-স্ক্রিপ্ট কনফিগারেশন। দলটি জোর দিয়ে বলেছে, নেটিভ-স্ক্রিপ্ট লেখাও ইংরেজি থেকে অনূদিত, এবং রোমানাইজড রেকর্ড হলো ল্যাটিন হরফে লেখা ভারতীয় ভাষার পাঠ, ইংরেজি নয়।

উৎস উপাদান আসে Nemotron-CC-v2-এর ১৫টি সাবসেট থেকে, যেখানে ওয়েব টেক্সট, প্রশ্ন-উত্তর, গণিত ও কোড অন্তর্ভুক্ত। অনুবাদ, স্কোরিং ও সংশোধন চলে NVIDIA-র উন্মুক্ত সিন্থেটিক ডেটা ফ্রেমওয়ার্ক NeMo Data Designer-এ, এবং প্রতিটি রেকর্ড তার উৎস শনাক্তকারী ধরে রাখে, যাতে আউটপুট মূল নথিতে ফিরে শনাক্ত করা যায়।

অনুবাদ, মূল্যায়ন, সংশোধন

দ্বৈত-স্ক্রিপ্ট বারোটি ভাষার জন্য Gemma-4-31B-it দিয়ে সম্পূর্ণ নথি অনুবাদ করা হয়, যেখানে কোড, সমীকরণ, URL ও ফরম্যাটিং অক্ষুণ্ণ রাখা হয়। এরপর একই মডেল Multidimensional Quality Metrics (MQM)-এর আদলে তৈরি একটি রুব্রিক দিয়ে প্রতিটি আউটপুটকে ইংরেজি মূলের সঙ্গে মিলিয়ে মূল্যায়ন করে, যেখানে অর্থ, সাবলীলতা, পরিভাষা, শৈলী ও ফরম্যাটিং বিবেচনা করা হয়। শুধু ১০০-এর মধ্যে কমপক্ষে ৭৫ পাওয়া আউটপুট রাখা হয়; দুর্বল আউটপুটগুলো প্রতিক্রিয়ার ভিত্তিতে সংশোধন করে আবার মূল্যায়ন করা হয়, যে ধাপে দলের দাবি অনুযায়ী ৪৩৮.৪ বিলিয়ন টোকেন উদ্ধার হয়েছে। বাকি দশটি ভাষা আলাদা অনুবাদ ওয়ার্কফ্লো দিয়ে যায়।

ডেটার একটি অংশ ইতিমধ্যে ব্যবহার হচ্ছে। Nemotron 3.5 Super VL-এর ধারাবাহিক প্রি-ট্রেনিংয়ে কর্পাসের বারোটি ভাষার সাবসেট এবং স্বাভাবিক ভারতীয় ভাষার লেখা থেকে ১০ বিলিয়ন ভারতীয় টোকেন যোগ করা হয়েছে, এবং NVIDIA বলছে ভবিষ্যৎ Nemotron মডেলগুলো এর ওপর ভিত্তি করে তৈরি হবে। লেখকেরা আরও উল্লেখ করেছেন, সিন্থেটিক অনুবাদ স্বাভাবিকভাবে লেখা ভারতীয় ভাষার পাঠের বিকল্প নয়, বরং তার পরিপূরক; স্থানীয় জ্ঞান ও সাংস্কৃতিক প্রেক্ষাপটের জন্য সেই লেখা এখনও অপরিহার্য।