AWS сообщила в своём блоге о машинном обучении, что NVIDIA Nemotron 3.5 Super VL теперь можно развернуть из Amazon SageMaker JumpStart: через SageMaker Studio или несколькими строками кода на SageMaker Python SDK.
Что это за модель
Super VL - мультимодальная модель семейства Nemotron 3.5, работающая с изображениями и текстом. На вход она получает изображения, видео и текст, на выходе выдаёт текст. Всего в ней 120 млрд параметров, из них 12 млрд активны на каждый токен. Языковая основа - гибридная архитектура Mixture-of-Experts, зрение обеспечивает энкодер C-RADIO. Контекст достигает 1 млн токенов, а рассуждение можно включать и выключать для каждого запроса. Поддерживаются вызов инструментов и вывод по JSON-схеме. Заявленные языки: английский, французский, немецкий, итальянский, японский, испанский и китайский. Лицензия - OpenMDW License Agreement версии 1.1.
AWS выделяет четыре сценария: разбор документов (OCR, графики, таблицы, многостраничные файлы), понимание интерфейсов для агентов, которые работают с приложениями, ответы на вопросы по коротким видео и мультимодальные агенты.
Два варианта
- NVFP4 - квантованная версия для меньшей задержки и большей пропускной способности. Весит около 75 ГБ и по умолчанию работает на ml.g7.24xlarge, а более крупный вариант - ml.g7.48xlarge.
- BF16 - эталонные веса в полной точности, около 249 ГБ, на ml.p5en.48xlarge. Они нужны для кастомизации: дообучения, дистилляции или собственной квантизации. Сам эндпоинт JumpStart отдаёт только базовые веса и адаптеры LoRA не загружает.
По результатам из карточки модели NVIDIA, которые приводит AWS, NVFP4 совпадает с BF16 на MMLongBench-Doc (62,82), а в остальных мультимодальных тестах отстаёт примерно на один пункт или меньше. На OCRBench v2 у него 68,34 против 68,12, на OSWorld-Verified - 52,30 против 51,14.
Измеренная скорость
В тесте использовали 250 входных и 1 500 выходных токенов при пяти одновременных потоковых запросах. NVFP4 на ml.g7.24xlarge выдал 63,07 токена в секунду на запрос, до первого токена - 0,45 с. BF16 на ml.p5en.48xlarge дал 140,85 токена в секунду и 0,53 с. AWS оговаривает, что варианты запускали на разном железе, поэтому честным сравнением точности это не назвать. С промптом в 10 000 токенов время до первого токена на ml.g7.24xlarge выросло до 12,62 с.
Ограничения, которые стоит знать до начала работы
- Конфигурации JumpStart обслуживают контекст от 520 до 15 600 токенов, это сильно меньше заявленного миллиона.
- На запрос допускается одно изображение и одно видео. Изображение страницы 1 536 x 1 024 стоит примерно 1 536 токенов.
- Модель принимает изображения, а не сырые PDF, так что каждую страницу сначала нужно отрисовать.
- Медиа передаются только внутри запроса в base64, потому что эндпоинт работает в режиме сетевой изоляции.
- Спекулятивное декодирование в конфигурации JumpStart не включено, хотя в чекпойнте есть голова для него.
- В новых аккаунтах квота на ml.g7 равна нулю, поэтому запрос на повышение лимита нужно подать до запуска. Развёртывание на ml.g7.24xlarge занимает около 10 минут.
Эндпоинт предоставляет API chat completions на основе vLLM, так что существующие интеграции в формате чата почти не придётся переделывать.