NVIDIA·IIT 마드라스, 2.8조 토큰 규모 인도 언어 사전학습 데이터셋 공개

NVIDIA와 IIT 마드라스 산하 인도 언어 연구소 AI4Bharat은 2026년 10월 16일 Nemotron-pretraining-Indic-v1이라는 새 사전학습 코퍼스를 발표했다. 이 데이터셋은 인도 헌법에 명시된 22개 언어에 걸쳐 약 2.8조 개의 토큰을 담고 있다. 파트너 측은 데이터셋을 곧 공개하며, 프롬프트, LLM 워크플로, 품질 검사를 포함해 이를 구축하는 데 쓰인 GPU 가속 생성 파이프라인도 함께 공개할 계획이라고 밝혔다.

이 22개 언어는 2011년 인구조사 기준 약 12억 명, 즉 인구의 97%가 모국어로 사용하는 언어다. AI4Bharat의 미테쉬 카프라 책임자는 "인도 언어 데이터가 충분하지 않기 때문에" 인도 언어 기술이 영어에 뒤처져 있다고 지적해 왔다. 이 연구소는 앞서 같은 22개 언어를 대상으로 한 오픈 사전학습 코퍼스 Sangraha를 공개한 바 있다.

코퍼스의 구성

Gemma-4 토크나이저로 측정한 결과, 이 코퍼스에는 원어 문자 토큰 2,601.0억 개와 로마자 표기 토큰 2,246억 개가 들어 있다. 벵골어, 힌디어, 타밀어, 텔루구어, 우르두어를 포함한 12개 언어는 원어 문자와 로마자 두 가지 표기로 모두 포함되어 있으며, 산스크리트어, 카슈미르어, 산탈리어 등 나머지 10개 언어는 원어 문자로만 구성되어 있다. 언어와 문자 조합은 모두 34개다. 연구진은 원어 문자 텍스트도 여전히 영어에서 번역된 것이며, 로마자 기록은 영어가 아닌 라틴 문자로 적은 인도 언어 텍스트라는 점을 강조했다.

원천 자료는 Nemotron-CC-v2의 15개 하위 집합에서 왔으며, 웹 텍스트, 질의응답 콘텐츠, 수학, 코드를 포함한다. 번역, 점수 산정, 수정 작업은 NVIDIA의 오픈소스 합성 데이터 프레임워크인 NeMo Data Designer에서 실행되며, 각 레코드는 원본 식별자를 유지해 결과물을 원문 문서까지 추적할 수 있다.

번역, 평가, 수정

두 가지 문자를 사용하는 12개 언어는 Gemma-4-31B-it 모델이 코드, 수식, URL, 서식을 보존하며 문서 단위로 번역한다. 이후 같은 모델이 다차원 품질 지표(MQM)에서 착안한 평가 기준으로 각 결과물을 영어 원문과 비교해 채점한다. 기준은 의미, 유창성, 용어, 문체, 서식이다. 100점 만점에 75점 이상을 받은 결과물만 남기고, 미달한 결과물은 피드백을 활용해 수정한 뒤 다시 채점한다. 연구진은 이 과정으로 4,384억 개의 토큰을 살려냈다고 밝혔다. 나머지 10개 언어는 별도의 번역 워크플로를 거친다.

이미 일부 데이터는 활용되고 있다. Nemotron 3.5 Super VL의 추가 사전학습에서는 이 코퍼스의 12개 언어 하위 집합과 자연스럽게 작성된 인도 언어 텍스트에서 가져온 100억 개의 인도 언어 토큰이 추가되었으며, NVIDIA는 향후 Nemotron 모델도 이 데이터를 기반으로 구축할 것이라고 밝혔다. 저자들은 또한 합성 번역은 자연스럽게 쓰인 인도 언어 텍스트를 대체하는 것이 아니라 보완하는 것이며, 지역 지식과 문화적 맥락을 위해서는 후자가 여전히 필수적이라고 덧붙였다.