NVIDIA e IIT Madras presentan un corpus de preentrenamiento indio de 2,8 billones de tokens

NVIDIA y AI4Bharat, el laboratorio de investigación en lenguas indias del IIT Madras, anunciaron el 16 de octubre de 2026 un nuevo corpus de preentrenamiento llamado Nemotron-pretraining-Indic-v1. El conjunto de datos reúne unos 2,8 billones de tokens en las 22 lenguas enumeradas en la Constitución de la India. Los socios afirmaron que se publicará pronto, junto con el flujo de generación acelerado por GPU utilizado para construirlo, que incluye instrucciones, flujos de trabajo con LLM y controles de calidad.

Esas 22 lenguas son la lengua materna del 97 % de los indios, es decir, cerca de 1.200 millones de personas según el censo de 2011. Mitesh Khapra, director de AI4Bharat, ha sostenido que la tecnología en lenguas indias va por detrás del inglés porque "no tenemos suficientes datos para las lenguas indias". El laboratorio ya había publicado Sangraha, un corpus abierto de preentrenamiento para las mismas 22 lenguas.

Qué contiene el corpus

Medido con el tokenizador de Gemma-4, el corpus contiene 2.601,0 mil millones de tokens en escritura nativa y 224,6 mil millones de tokens romanizados. Doce lenguas, entre ellas el bengalí, el hindi, el tamil, el telugu y el urdu, aparecen tanto en escritura nativa como en alfabeto latino, mientras que otras diez, incluidos el sánscrito, el cachemiri y el santali, solo tienen escritura nativa, lo que suma 34 combinaciones de lengua y escritura. El equipo subraya que el texto en escritura nativa sigue traducido del inglés y que los registros romanizados son texto indio escrito con letras latinas, no inglés.

El material de origen procede de 15 subconjuntos de Nemotron-CC-v2, que abarcan texto web, contenido de preguntas y respuestas, matemáticas y código. La traducción, la puntuación y la reparación se ejecutan con NeMo Data Designer, el marco de datos sintéticos de código abierto de NVIDIA, y cada registro conserva su identificador de origen para que los resultados puedan rastrearse hasta el documento original.

Traducir, puntuar, reparar

En el caso de las doce lenguas con doble escritura, los documentos completos se traducen con Gemma-4-31B-it, conservando el código, las ecuaciones, las URL y el formato. Después, el mismo modelo evalúa cada resultado frente a su original en inglés mediante una rúbrica inspirada en las Métricas Multidimensionales de Calidad (MQM), que cubre el significado, la fluidez, la terminología, el estilo y el formato. Solo se conservan los resultados con una puntuación de al menos 75 sobre 100; los más débiles se reparan con ayuda de la retroalimentación y se vuelven a puntuar, un paso que, según el equipo, permitió recuperar 438,4 mil millones de tokens. Las diez lenguas restantes siguen un flujo de traducción independiente.

Parte de los datos ya se utiliza. El preentrenamiento continuo de Nemotron 3.5 Super VL añadió 10.000 millones de tokens indios extraídos de un subconjunto de doce lenguas del corpus y de texto indio natural, y NVIDIA afirma que los futuros modelos Nemotron se basarán en él. Los autores también señalan que las traducciones sintéticas complementan, pero no sustituyen, el texto indio escrito de forma natural, que sigue siendo esencial para el conocimiento local y el contexto cultural.