AWS anunció en su Machine Learning Blog que NVIDIA Nemotron 3.5 Super VL ya puede desplegarse desde Amazon SageMaker JumpStart, ya sea mediante SageMaker Studio o con unas pocas líneas del SDK de Python de SageMaker.
Qué es el modelo
Super VL es el miembro de visión y lenguaje de la familia Nemotron 3.5. Recibe imágenes, vídeo y texto, y produce texto. Tiene 120B parámetros en total, de los cuales 12B están activos por token, y combina una base de lenguaje híbrida de Mixture-of-Experts con un codificador de visión C-RADIO. Admite un contexto de hasta 1 millón de tokens, y el razonamiento se puede activar o desactivar en cada solicitud. También permite llamadas a herramientas y salida con esquema JSON. Los idiomas indicados son inglés, francés, alemán, italiano, japonés, español y chino. La licencia es la OpenMDW License Agreement, versión 1.1.
AWS señala cuatro usos: inteligencia documental (OCR, gráficos, tablas y archivos de varias páginas), comprensión de interfaces gráficas para agentes que manejan aplicaciones, preguntas y respuestas sobre vídeos cortos y agentes multimodales.
Dos variantes
- NVFP4: versión cuantizada pensada para menor latencia y mayor rendimiento. Pesa unos 75 GB y se ejecuta por defecto en ml.g7.24xlarge, con ml.g7.48xlarge como opción mayor.
- BF16: los pesos de referencia en precisión completa, unos 249 GB, en ml.p5en.48xlarge. Están pensados para personalizar el modelo: ajuste fino, destilación o una cuantización propia. El endpoint de JumpStart sirve solo los pesos base y no carga adaptadores LoRA.
En los resultados de la ficha del modelo de NVIDIA que cita AWS, NVFP4 iguala a BF16 en MMLongBench-Doc (62,82) y se queda a un punto o menos en las demás pruebas multimodales. Obtiene 68,34 frente a 68,12 en OCRBench v2 y 52,30 frente a 51,14 en OSWorld-Verified.
Velocidad medida
La prueba usó 250 tokens de entrada y 1.500 de salida, con cinco solicitudes en streaming simultáneas. NVFP4 en ml.g7.24xlarge generó 63,07 tokens por segundo por solicitud, con 0,45 segundos hasta el primer token. BF16 en ml.p5en.48xlarge generó 140,85 tokens por segundo, con 0,53 segundos. AWS advierte de que las dos variantes se ejecutaron en hardware distinto, así que no es una comparación limpia de precisión. Con un prompt de 10.000 tokens, el tiempo hasta el primer token en ml.g7.24xlarge subió a 12,62 segundos.
Límites que conviene conocer antes de construir
- Las configuraciones de JumpStart sirven entre 520 y 15.600 tokens de contexto, muy por debajo del millón de tokens del modelo.
- Una imagen y un vídeo por solicitud. Una imagen de página de 1.536 x 1.024 cuesta unos 1.536 tokens.
- El modelo acepta imágenes, no PDF en bruto, así que cada página hay que convertirla antes.
- Los archivos multimedia deben enviarse en línea como base64, porque el endpoint funciona con aislamiento de red.
- La decodificación especulativa no está activada en la configuración de JumpStart, aunque el checkpoint incluye la cabeza necesaria.
- Las cuentas nuevas empiezan con cuota cero para ml.g7, así que conviene pedir un límite mayor antes de lanzar el despliegue. El despliegue tarda unos 10 minutos en ml.g7.24xlarge.
El endpoint expone una API de chat completions basada en vLLM, de modo que las integraciones de tipo chat que ya tengas necesitan pocos cambios.