A NVIDIA anunciou o Nemotron-pretraining-Indic-v1, um corpus sintético de pré-treinamento com cerca de 2,8 trilhões de tokens nos 22 idiomas listados na Constituição da Índia. A publicação, feita no Hugging Face em 16 de outubro de 2026, diz que o corpus será liberado em breve. Ele foi construído com o IIT Madras e o laboratório AI4Bharat, e o pipeline aberto por trás dele serve para que outros gerem mais dados.
O que há no corpus
O corpus reúne 2.601,0 bilhões de tokens em escrita nativa e 224,6 bilhões de tokens romanizados. Os 22 idiomas têm dados em escrita nativa; doze também têm texto romanizado, escrito em alfabeto latino, o que dá 34 configurações de idioma e escrita. O material de origem vem de 15 subconjuntos do Nemotron-CC-v2, incluindo texto da web, conteúdo de perguntas e respostas, matemática e código. Cada registro mantém um identificador que aponta para o documento de origem.
Como foi feito
Em doze idiomas, os documentos são traduzidos por inteiro com o Gemma-4-31B-it, avaliados em relação ao original em inglês por uma rubrica inspirada no Multidimensional Quality Metrics e mantidos apenas com nota de 75 em 100 ou mais. Os resultados com nota menor são reparados a partir do feedback da avaliação e pontuados de novo. Esse processo recuperou 438,4 bilhões de tokens, já contados no total. O texto romanizado é gerado a partir das traduções aprovadas em escrita nativa, não diretamente do inglês. Em uma comparação humana inicial, a NVIDIA afirma que isso resultou em menos acréscimos alucinados e menos inglês residual.
Os outros dez idiomas usam o Indic Translate, modelo de tradução em nível de documento da Bodhan AI, com o mesmo limite de 75 pontos. Eles recebem apenas dados em escrita nativa e não passam por reescrita baseada em feedback.
Resultados no modelo
O Nemotron 3.5 Super VL recebeu 10 bilhões de tokens indianos em uma etapa de pré-treinamento contínuo com orçamento de 100 bilhões de tokens, extraídos de um subconjunto de doze idiomas deste corpus somado a texto indiano natural. As notas subiram nos cinco benchmarks reportados, de 4,98 a 9,82 pontos percentuais. A NVIDIA afirma que isso reflete a combinação de dados sintéticos e naturais, e não apenas o corpus sintético. Em comparação com o Nemotron 3 Super, o modelo lançado tem nota maior em cinco de seis benchmarks de tarefas, enquanto o seguimento de instruções no IFEval 1.5 caiu 2,04 pontos.
Receita aberta e limites
O plugin de tradução Nemotron Bharat para o NeMo Data Designer é descrito como de código aberto. Ele cobre prompts de tradução e avaliação, reescrita opcional, janelamento de documentos e remapeamento de escrita. A NVIDIA recomenda começar com uma pequena amostra dos seus próprios documentos e refinar os prompts com revisores nativos antes de escalar.
A publicação lista seus próprios limites. Texto traduzido não substitui texto escrito nativamente em idiomas indianos nem garante conhecimento cultural local. A avaliação de qualidade é em grande parte automatizada, a cobertura de revisão humana varia, o fluxo dos dez idiomas precisa de validação mais ampla por falantes nativos, e a checagem por ID de origem remove duplicatas de processamento, mas não é deduplicação semântica.