NVIDIA e IIT Madras lançam base de pré-treinamento em línguas indianas com 2,8 trilhões de tokens

A NVIDIA e a AI4Bharat, laboratório de pesquisa em línguas indianas do IIT Madras, anunciaram em 16 de outubro de 2026 um novo corpus de pré-treinamento chamado Nemotron-pretraining-Indic-v1. O conjunto de dados reúne cerca de 2,8 trilhões de tokens nas 22 línguas listadas na Constituição da Índia. Os parceiros afirmaram que ele será disponibilizado em breve, junto com o pipeline de geração acelerado por GPU usado em sua construção, incluindo prompts, fluxos de trabalho com LLMs e verificações de qualidade.

Essas 22 línguas são a primeira língua de 97% dos indianos, o que corresponde a cerca de 1,2 bilhão de pessoas, segundo o Censo de 2011. O chefe da AI4Bharat, Mitesh Khapra, argumenta que a tecnologia em línguas indianas está atrás do inglês porque "não temos dados suficientes para as línguas indianas". O laboratório já havia lançado o Sangraha, um corpus aberto de pré-treinamento para as mesmas 22 línguas.

O que o corpus contém

Medido com o tokenizador do Gemma-4, o corpus contém 2.601,0 bilhões de tokens em escrita nativa e 224,6 bilhões de tokens romanizados. Doze línguas, entre elas bengali, hindi, tâmil, telugu e urdu, aparecem tanto na escrita nativa quanto no alfabeto latino, enquanto outras dez, incluindo sânscrito, caxemiri e santali, existem apenas na escrita nativa, totalizando 34 combinações de língua e escrita. A equipe ressalta que o texto em escrita nativa ainda é traduzido do inglês e que os registros romanizados são texto indiano escrito com letras latinas, e não em inglês.

O material de origem vem de 15 subconjuntos do Nemotron-CC-v2, que cobrem textos da web, conteúdo de perguntas e respostas, matemática e código. A tradução, a avaliação e a correção são executadas no NeMo Data Designer, framework de dados sintéticos de código aberto da NVIDIA, e cada registro mantém seu identificador de origem para que os resultados possam ser rastreados até o documento original.

Traduzir, avaliar, corrigir

Para as doze línguas com duas escritas, documentos inteiros são traduzidos com o Gemma-4-31B-it, preservando código, equações, URLs e formatação. O mesmo modelo avalia então cada saída em comparação com o texto original em inglês, usando uma rubrica inspirada nas Multidimensional Quality Metrics (MQM), que cobre significado, fluência, terminologia, estilo e formatação. Somente as saídas com nota de pelo menos 75 em 100 são mantidas; as mais fracas são corrigidas com base no feedback e reavaliadas, etapa que, segundo a equipe, recuperou 438,4 bilhões de tokens. As dez línguas restantes passam por um fluxo de tradução separado.

Parte dos dados já está em uso. O treinamento contínuo do Nemotron 3.5 Super VL acrescentou 10 bilhões de tokens indianos extraídos de um subconjunto de doze línguas do corpus e de textos naturais em línguas indianas, e a NVIDIA afirma que os próximos modelos Nemotron vão se basear nele. Os autores também observam que as traduções sintéticas complementam, mas não substituem, textos indianos escritos naturalmente, que continuam essenciais para o conhecimento local e o contexto cultural.