NVIDIA анонсировала Nemotron-pretraining-Indic-v1 - синтетический корпус для предобучения объёмом около 2,8 трлн токенов на 22 языках, перечисленных в Конституции Индии. В публикации на Hugging Face от 16 октября 2026 года сказано, что корпус скоро будет выпущен. Его делали вместе с IIT Madras и её лабораторией AI4Bharat, а открытый конвейер должен позволить другим генерировать больше данных.
Что в корпусе
В корпусе 2601,0 млрд токенов на родных письменностях и 224,6 млрд романизированных токенов. Данные на родной письменности есть для всех 22 языков, а для двенадцати из них ещё и текст латиницей. В сумме получается 34 конфигурации язык-письменность. Исходный материал взят из 15 подмножеств Nemotron-CC-v2: веб-тексты, вопросы и ответы, математика и код. В каждой записи сохранён идентификатор исходного документа.
Как его делали
Для двенадцати языков документы переводят целиком моделью Gemma-4-31B-it. Затем перевод оценивают относительно английского источника по рубрике, вдохновлённой Multidimensional Quality Metrics, и оставляют только результаты от 75 баллов из 100. Тексты с более низкой оценкой исправляют по замечаниям из оценки и оценивают заново. Так удалось вернуть 438,4 млрд токенов, которые уже учтены в общем объёме. Романизированный текст получают из принятых переводов на родной письменности, а не напрямую с английского. По словам NVIDIA, в первом сравнении с участием людей такой путь дал меньше выдуманных добавок и меньше остаточного английского.
Для остальных десяти языков используется Indic Translate - модель перевода на уровне документа от Bodhan AI, с тем же порогом в 75 баллов. Для них есть только данные на родной письменности, а переписывания по обратной связи нет.
Результаты модели
Nemotron 3.5 Super VL получила 10 млрд индийских токенов на этапе продолженного предобучения с бюджетом 100 млрд токенов. Данные взяты из двенадцатиязычного подмножества этого корпуса и естественных индийских текстов. Результаты выросли во всех пяти заявленных бенчмарках, на 4,98-9,82 процентного пункта. NVIDIA подчёркивает, что это эффект синтетических и естественных данных вместе, а не одного синтетического корпуса. По сравнению с Nemotron 3 Super выпущенная модель показывает лучший результат в пяти из шести задач, но следование инструкциям в IFEval 1.5 просело на 2,04 пункта.
Открытый рецепт и ограничения
Плагин Nemotron Bharat для NeMo Data Designer описан как открытый. Он охватывает промпты для перевода и оценки, необязательное переписывание, разбиение документов на окна и перевод между письменностями. NVIDIA советует начинать с небольшой выборки собственных документов и дорабатывать промпты вместе с рецензентами - носителями языка, прежде чем масштабировать.
Ограничения авторы называют сами. Переведённый текст не заменяет текстов, написанных на индийских языках изначально, и не гарантирует знания местной культуры. Оценка качества в основном автоматическая, охват проверки людьми неодинаков, а процесс для десяти языков требует более широкой проверки носителями. Проверка по идентификаторам источника убирает дубли обработки, но не является семантической дедупликацией.