NVIDIA и IIT Madras представили датасет для предобучения на индийских языках объёмом 2,8 трлн токенов

NVIDIA и AI4Bharat, исследовательская лаборатория индийских языков при IIT Madras, 16 октября 2026 года объявили о новом корпусе для предобучения под названием Nemotron-pretraining-Indic-v1. В датасете около 2,8 трлн токенов на 22 языках, закреплённых в Конституции Индии. Партнёры сообщили, что корпус скоро будет выпущен вместе с ускоряемым на GPU конвейером генерации, которым он был создан, включая промпты, рабочие процессы LLM и проверки качества.

Эти 22 языка являются родными для 97% индийцев, то есть почти для 1,2 млрд человек по данным переписи 2011 года. Руководитель AI4Bharat Митеш Хапра утверждает, что технологии для индийских языков отстают от английского, потому что «у нас недостаточно данных для индийских языков». Ранее лаборатория выпустила Sangraha, открытый корпус для предобучения на тех же 22 языках.

Что входит в корпус

По подсчётам с токенизатором Gemma-4, корпус содержит 2601,0 млрд токенов в нативной графике и 224,6 млрд токенов в латинской транслитерации. Двенадцать языков, в том числе бенгальский, хинди, тамильский, телугу и урду, представлены и в нативной, и в латинской графике, а ещё десять, включая санскрит, кашмири и santali, только в нативной. Всего получается 34 комбинации языка и письменности. Команда подчёркивает, что тексты в нативной графике всё равно переведены с английского, а записи в латинице — это индийские тексты, написанные латинскими буквами, а не английский язык.

Исходный материал взят из 15 подмножеств Nemotron-CC-v2, которые охватывают веб-тексты, контент вида «вопрос-ответ», математику и код. Перевод, оценку и исправление выполняет NeMo Data Designer, открытый фреймворк NVIDIA для синтетических данных. Каждая запись сохраняет идентификатор источника, поэтому результаты можно связать с исходным документом.

Перевод, оценка, исправление

Для двенадцати языков с двойной графикой целые документы переводятся моделью Gemma-4-31B-it с сохранением кода, формул, URL-адресов и форматирования. Затем та же модель сравнивает каждый результат с английским оригиналом по рубрике, вдохновлённой Multidimensional Quality Metrics (MQM), которая оценивает смысл, беглость, терминологию, стиль и оформление. Сохраняются только результаты с оценкой не ниже 75 из 100. Слабые варианты исправляются с учётом замечаний и оцениваются повторно, и, по словам команды, этот шаг позволил вернуть 438,4 млрд токенов. Остальные десять языков проходят через отдельный процесс перевода.

Часть данных уже используется. Дополнительное предобучение Nemotron 3.5 Super VL добавило 10 млрд токенов на индийских языках из подмножества корпуса на двенадцати языках и из естественных текстов на этих языках. NVIDIA заявляет, что будущие модели Nemotron будут опираться на этот корпус. Авторы также отмечают, что синтетические переводы дополняют, а не заменяют естественно написанные тексты на индийских языках, которые остаются необходимыми для передачи местных знаний и культурного контекста.