NVIDIA ha anunciado Nemotron-pretraining-Indic-v1, un corpus sintético de preentrenamiento de aproximadamente 2,8 billones de tokens que abarca los 22 idiomas recogidos en la Constitución de la India. La publicación, difundida en Hugging Face el 16 de octubre de 2026, indica que el corpus se liberará próximamente. Se ha elaborado junto con IIT Madras y su laboratorio AI4Bharat, y el pipeline abierto que lo sustenta busca que otros puedan generar más datos.
Qué contiene el corpus
El corpus reúne 2.601,0 miles de millones de tokens en escritura nativa y 224,6 miles de millones en texto romanizado. Los 22 idiomas tienen datos en escritura nativa; doce cuentan además con texto romanizado, escrito en alfabeto latino, lo que da 34 configuraciones de idioma y escritura. El material de origen procede de 15 subconjuntos de Nemotron-CC-v2, entre ellos texto web, contenido de preguntas y respuestas, matemáticas y código. Cada registro conserva un identificador que remite al documento de origen.
Cómo se ha hecho
En doce idiomas, los documentos se traducen completos con Gemma-4-31B-it, se puntúan frente al original en inglés con una rúbrica inspirada en Multidimensional Quality Metrics y solo se conservan los que alcanzan 75 puntos sobre 100 o más. Los resultados con menor nota se reparan a partir de los comentarios de la evaluación y se vuelven a puntuar. Con ese paso se recuperaron 438,4 miles de millones de tokens que ya figuran en el total. El texto romanizado se genera a partir de las traducciones aceptadas en escritura nativa, no directamente desde el inglés. En una comparación humana inicial, NVIDIA afirma que así se obtuvieron menos adiciones inventadas y menos inglés residual.
Los otros diez idiomas utilizan Indic Translate, un modelo de traducción a nivel de documento de Bodhan AI, con el mismo umbral de 75 puntos. Solo reciben datos en escritura nativa y no pasan por reescritura basada en comentarios.
Resultados del modelo
Nemotron 3.5 Super VL recibió 10 mil millones de tokens indios en una fase de preentrenamiento continuado con un presupuesto de 100 mil millones de tokens, tomados de un subconjunto de doce idiomas de este corpus junto con texto indio natural. Las puntuaciones subieron en los cinco benchmarks informados, entre 4,98 y 9,82 puntos porcentuales. NVIDIA precisa que esto refleja la combinación de datos sintéticos y naturales, no solo el corpus sintético. Frente a Nemotron 3 Super, el modelo publicado puntúa más alto en cinco de seis benchmarks de tareas, mientras que el seguimiento de instrucciones en IFEval 1.5 cayó 2,04 puntos.
Receta abierta y límites
El plugin de traducción Nemotron Bharat para NeMo Data Designer se describe como código abierto. Cubre los prompts de traducción y evaluación, la reescritura opcional, la división de documentos en ventanas y el remapeo de escritura. NVIDIA recomienda empezar con una pequeña muestra de documentos propios y afinar los prompts con revisores nativos antes de escalar.
La publicación enumera sus propias limitaciones. El texto traducido no sustituye al escrito de forma nativa en idiomas de la India ni garantiza conocimiento cultural local. La evaluación de calidad es en su mayor parte automática, la cobertura de revisión humana varía, el flujo de diez idiomas requiere una validación más amplia por hablantes nativos, y la comprobación de identificadores de origen elimina duplicados de procesamiento pero no es deduplicación semántica.