NVIDIA وIIT مدراس تكشفان عن مجموعة بيانات تدريب مسبق للغات الهندية بحجم 2.8 تريليون رمز
مختبر AI4Bharat التابع لمعهد IIT مدراس وNVIDIA سيطلقان قريبًا Nemotron-pretraining-Indic-v1، وهي مجموعة نصوص اصطناعية تغطي 22 لغة هندية، إلى جانب خط المعالجة المفتوح الذي بُنيت به.
أعلنت NVIDIA وAI4Bharat، وهو مختبر الأبحاث المتخصص في اللغات الهندية التابع لمعهد IIT مدراس، في 16 أكتوبر 2026 عن مجموعة نصوص جديدة للتدريب المسبق تحمل اسم Nemotron-pretraining-Indic-v1. وتضم المجموعة نحو 2.8 تريليون رمز عبر اللغات الـ22 المدرجة في دستور الهند. وقال الشريكان إنها ستُطرح قريبًا مع خط توليد البيانات المُسرَّع بوحدات GPU الذي استُخدم في بنائها، ويشمل المطالبات وسير عمل نماذج اللغة وفحوص الجودة.
وتمثل هذه اللغات الـ22 اللغة الأم لـ97% من الهنود، أي ما يقارب 1.2 مليار شخص وفق تعداد عام 2011. وقد رأى ميتيش خابرا، رئيس AI4Bharat، أن تقنيات اللغات الهندية تتأخر عن الإنجليزية لأنه "لا تتوفر لدينا بيانات كافية للغات الهندية". وكان المختبر قد أصدر سابقًا Sangraha، وهي مجموعة نصوص تدريب مسبق مفتوحة للغات الـ22 نفسها.
ما تحتويه المجموعة
وبحسب قياس أجري بمحلل الرموز Gemma-4، تحتوي المجموعة على 2,601.0 مليار رمز بالكتابة الأصلية و224.6 مليار رمز بالحروف اللاتينية. وتظهر اثنتا عشرة لغة، من بينها البنغالية والهندية والتاميلية والتيلوغوية والأردية، بالكتابتين الأصلية واللاتينية، بينما تظهر عشر لغات أخرى، من بينها السanskrit والكشميرية والسانتالية، بالكتابة الأصلية فقط، لتبلغ الإجمالي 34 تكوينًا للغة والكتابة. ويؤكد الفريق أن النصوص بالكتابة الأصلية مترجمة في الأصل من الإنجليزية، وأن السجلات المكتوبة بالحروف اللاتينية هي نصوص هندية بأحرف لاتينية وليست نصوصًا إنجليزية.
وتأتي المادة المصدرية من 15 مجموعة فرعية من Nemotron-CC-v2، تغطي نصوص الويب والمحتوى القائم على الأسئلة والأجوبة والرياضيات والبرمجة. وتُنفَّذ الترجمة والتقييم والإصلاح عبر NeMo Data Designer، وهو إطار البيانات الاصطناعية مفتوح المصدر من NVIDIA، ويحتفظ كل سجل بمعرّف مصدره بحيث يمكن إرجاع المخرجات إلى الوثيقة الأصلية.
ترجمة وتقييم وإصلاح
بالنسبة للغات الاثنتي عشرة ذات الكتابتين، تُترجم الوثائق كاملة باستخدام النموذج Gemma-4-31B-it، مع الحفاظ على الشيفرات والمعادلات والروابط والتنسيق. ثم يقيّم النموذج نفسه كل مخرج مقارنةً بنصه الإنجليزي الأصلي وفق معيار مستوحى من مقاييس الجودة متعددة الأبعاد (MQM)، يشمل المعنى والطلاقة والمصطلحات والأسلوب والتنسيق. ولا يُحتفظ إلا بالمخرجات التي تحصل على 75 درجة من 100 على الأقل، أما الأضعف فتُصلح بالاستناد إلى الملاحظات وتُعاد تقييمها، وهي خطوة قال الفريق إنها استعادت 438.4 مليار رمز. وتمر اللغات العشر المتبقية بسير عمل ترجمة منفصل.
وقد بدأ استخدام جزء من البيانات بالفعل، إذ أضاف التدريب المسبق المستمر للنموذج Nemotron 3.5 Super VL 10 مليارات رمز هندي من مجموعة فرعية تضم اثنتي عشرة لغة من المجموعة، ومن نصوص هندية مكتوبة بشكل طبيعي. وتقول NVIDIA إن نماذج Nemotron المقبلة ستبني على ذلك. كما يشير المؤلفون إلى أن الترجمات الاصطناعية تكمّل النصوص الهندية المكتوبة بشكل طبيعي ولا تحل محلها، وأن هذه النصوص تبقى ضرورية للمعرفة المحلية والسياق الثقافي.
التعليقات
لا توجد تعليقات بعد. ابدأ النقاش أو اطرح سؤالًا.
ذو صلة
في مؤتمر Hexacon في باريس، عرض فريق Calif.io كسرًا لحماية iOS 27 يعمل حتى الإصدار 27.0.1، بما في ذلك على جهاز iPhone 18 Pro، مع مساعدة الذكاء الاصطناعي في إيجاد سلسلة الثغرات.
وقّعت CERN وMistral AI بيان نوايا لشراكة طويلة الأمد لبناء "نموذج الفيزياء الكبير"، الذي يُقدَّم بوصفه أول نموذج أساس لفيزياء المصادمات.
طوّر باحثون من معهد MIT ومعهد Whitehead نظام IRIS، وهو شبكة عصبونية تستنتج الإشارات الكيميائية التي تلقّتها الخلية أثناء النمو من خلال نشاط جيناتها.