NVIDIA และ IIT Madras เปิดตัวชุดข้อมูลสำหรับ pretraining ภาษาอินเดีย 2.8 ล้านล้านโทเคน

NVIDIA และ AI4Bharat ห้องวิจัยด้านภาษาอินเดียของ IIT Madras ประกาศเมื่อวันที่ 16 ตุลาคม 2026 ถึงคอร์ปัส pretraining ชุดใหม่ชื่อ Nemotron-pretraining-Indic-v1 ชุดข้อมูลนี้มีราว 2.8 ล้านล้านโทเคนครอบคลุม 22 ภาษาที่ระบุไว้ในรัฐธรรมนูญอินเดีย ผู้ร่วมพัฒนาระบุว่าจะเผยแพร่ในเร็ว ๆ นี้ พร้อมกับไปป์ไลน์การสร้างข้อมูลที่เร่งความเร็วด้วย GPU ซึ่งใช้สร้างชุดข้อมูลนี้ รวมถึงพรอมต์ เวิร์กโฟลว์ของ LLM และการตรวจสอบคุณภาพ

ทั้ง 22 ภาษานี้เป็นภาษาแรกของชาวอินเดียราว 97% หรือประมาณ 1.2 พันล้านคน ตามข้อมูลสำมะโนประชากรปี 2011 Mitesh Khapra หัวหน้า AI4Bharat เคยให้เหตุผลว่าเทคโนโลยีภาษาอินเดียตามหลังภาษาอังกฤษเพราะ "เรามีข้อมูลสำหรับภาษาอินเดียไม่เพียงพอ" ก่อนหน้านี้ห้องวิจัยได้เผยแพร่ Sangraha คอร์ปัส pretraining แบบเปิดสำหรับภาษาทั้ง 22 ชุดเดียวกันนี้

คอร์ปัสนี้มีอะไรบ้าง

เมื่อวัดด้วยตัวตัดคำ Gemma-4 คอร์ปัสนี้มี 2,601.0 พันล้านโทเคนที่เขียนด้วยอักษรดั้งเดิม และ 224.6 พันล้านโทเคนที่ถอดเป็นอักษรโรมัน มี 12 ภาษา เช่น เบงกาลี ฮินดี ทมิฬ เตลูกู และอูรดู ที่ปรากฏทั้งในอักษรดั้งเดิมและอักษรละติน ส่วนอีก 10 ภาษา เช่น สันสกฤต แคชเมียร์ และซานตาลี มีเฉพาะอักษรดั้งเดิม รวมเป็น 34 การกำหนดค่าภาษาและอักษร ทีมงานย้ำว่าข้อความอักษรดั้งเดิมยังแปลมาจากภาษาอังกฤษ และระเบียนที่ถอดเป็นอักษรโรมันคือข้อความภาษาอินเดียที่เขียนด้วยอักษรละติน ไม่ใช่ภาษาอังกฤษ

วัตถุดิบต้นทางมาจาก 15 ชุดย่อยของ Nemotron-CC-v2 ครอบคลุมเนื้อหาเว็บ เนื้อหาถามตอบ คณิตศาสตร์ และโค้ด การแปล การให้คะแนน และการซ่อมแซมทำงานบน NeMo Data Designer ซึ่งเป็นเฟรมเวิร์กข้อมูลสังเคราะห์แบบโอเพนซอร์สของ NVIDIA และทุกระเบียนเก็บตัวระบุแหล่งที่มาไว้ เพื่อให้ตรวจย้อนกลับไปยังเอกสารต้นฉบับได้

แปล ให้คะแนน ซ่อมแซม

สำหรับ 12 ภาษาที่มีสองอักษร ทั้งเอกสารจะถูกแปลด้วย Gemma-4-31B-it โดยคงโค้ด สมการ URL และการจัดรูปแบบไว้ โมเดลเดียวกันนี้จะให้คะแนนผลลัพธ์แต่ละชิ้นเทียบกับต้นฉบับภาษาอังกฤษ โดยใช้เกณฑ์ที่ได้แรงบันดาลใจจาก Multidimensional Quality Metrics (MQM) ครอบคลุมความหมาย ความคล่องแคล่ว คำศัพท์ สไตล์ และการจัดรูปแบบ เฉพาะผลลัพธ์ที่ได้ 75 คะแนนขึ้นไปจากเต็ม 100 เท่านั้นที่จะถูกเก็บไว้ ส่วนที่ต่ำกว่านั้นจะถูกซ่อมแซมตามข้อเสนอแนะและให้คะแนนใหม่ ขั้นตอนนี้ทีมงานระบุว่ากู้คืนได้ 438.4 พันล้านโทเคน ส่วนอีกสิบภาษาที่เหลือผ่านเวิร์กโฟลว์การแปลแยกต่างหาก

ข้อมูลบางส่วนถูกนำไปใช้แล้ว การ pretraining ต่อเนื่องของ Nemotron 3.5 Super VL เพิ่ม 10 พันล้านโทเคนภาษาอินเดีย ดึงจากชุดย่อย 12 ภาษาของคอร์ปัสและจากข้อความภาษาอินเดียที่เขียนตามธรรมชาติ และ NVIDIA ระบุว่าโมเดล Nemotron รุ่นต่อไปจะต่อยอดจากชุดข้อมูลนี้ ผู้เขียนยังชี้ว่าการแปลสังเคราะห์เป็นเพียงส่วนเสริมของข้อความภาษาอินเดียที่เขียนขึ้นตามธรรมชาติ ไม่ได้มาแทนที่ ซึ่งยังคงจำเป็นต่อความรู้ท้องถิ่นและบริบททางวัฒนธรรม