NVIDIA та IIT Madras представили набір даних для передпідготовки індійськими мовами обсягом 2,8 трлн токенів

NVIDIA та AI4Bharat, дослідницька лабораторія з індійських мов при IIT Madras, 16 жовтня 2026 року оголосили про новий корпус для передпідготовки моделей під назвою Nemotron-pretraining-Indic-v1. Набір містить близько 2,8 трлн токенів на 22 мовах, перелічених у Конституції Індії. Партнери повідомили, що найближчим часом його буде опубліковано разом із конвеєром генерації з прискоренням на GPU, який використовувався для створення даних, зокрема з промптами, робочими процесами LLM і перевірками якості.

Ці 22 мови є рідними для 97% індійців, що становить близько 1,2 мільярда людей за даними перепису 2011 року. Керівник AI4Bharat Мітеш Хапра стверджує, що технології для індійських мов відстають від англійської, адже «для індійських мов нам не вистачає даних». Раніше лабораторія опублікувала Sangraha, відкритий корпус для передпідготовки тими самими 22 мовами.

Що містить корпус

За підрахунком токенізатором Gemma-4, корпус містить 2 601,0 млрд токенів рідним письмом і 224,6 млрд токенів у латинській транслітерації. Дванадцять мов, серед яких бенгалі, гінді, тамільська, телугу та урду, представлено і рідним, і латинським письмом, тоді як ще десять, зокрема санскрит, кашмірська та сантальська, мають лише рідне письмо, всього 34 комбінації мови та письма. Команда наголошує, що текст рідним письмом все ще перекладено з англійської, а записи латиницею є індійським текстом, записаним латинськими літерами, а не англійською мовою.

Вихідні матеріали походять із 15 підмножин Nemotron-CC-v2 і охоплюють веб-текст, контент із питаннями та відповідями, математику й код. Переклад, оцінювання та виправлення виконуються за допомогою NeMo Data Designer, відкритої платформи NVIDIA для створення синтетичних даних, а кожен запис зберігає ідентифікатор джерела, тож результати можна простежити до оригінального документа.

Переклад, оцінка, виправлення

Для дванадцяти мов із подвійним письмом цілі документи перекладаються моделлю Gemma-4-31B-it із збереженням коду, формул, URL-адрес і форматування. Та сама модель потім оцінює кожен результат порівняно з англійським оригіналом за критеріями, натхненними Multidimensional Quality Metrics (MQM): змістом, плавністю, термінологією, стилем і форматуванням. Залишаються лише результати не менше ніж 75 балів зі 100; слабші переписуються з урахуванням зауважень і оцінюються повторно, цей крок, за словами команди, дозволив відновити 438,4 млрд токенів. Решта десяти мов проходять окремий процес перекладу.

Частину даних уже використано. Подальша передпідготовка Nemotron 3.5 Super VL додала 10 млрд індійських токенів із дванадцятимовної підмножини корпусу та з природного індійського тексту, а NVIDIA заявляє, що майбутні моделі Nemotron базуватимуться на ньому. Автори також зазначають, що синтетичні переклади доповнюють, а не замінюють природно написаний індійський текст, який залишається необхідним для місцевих знань і культурного контексту.