A AWS anunciou no blog de Machine Learning que o NVIDIA Nemotron 3.5 Super VL já pode ser implantado pelo Amazon SageMaker JumpStart, seja no SageMaker Studio ou com poucas linhas do SageMaker Python SDK.
O que é o modelo
O Super VL é o integrante de visão e linguagem da família Nemotron 3.5. Ele recebe imagens, vídeo e texto e gera texto. Tem 120B parâmetros no total, dos quais 12B ficam ativos por token, e combina uma base de linguagem híbrida do tipo Mixture-of-Experts com um codificador de visão C-RADIO. O modelo aceita contexto de até 1 milhão de tokens, e o raciocínio pode ser ligado ou desligado a cada requisição. Também oferece chamada de ferramentas e saída em JSON schema. Os idiomas listados são inglês, francês, alemão, italiano, japonês, espanhol e chinês. A licença é a OpenMDW License Agreement, versão 1.1.
A AWS aponta quatro usos: inteligência documental (OCR, gráficos, tabelas, arquivos de várias páginas), compreensão de interfaces gráficas para agentes que operam aplicativos, perguntas e respostas sobre vídeos curtos e agentes multimodais.
Duas variantes
- NVFP4: versão quantizada, pensada para menor latência e maior vazão. Tem cerca de 75 GB e roda por padrão em ml.g7.24xlarge, com ml.g7.48xlarge como opção maior.
- BF16: pesos de referência em precisão total, com cerca de 249 GB, em ml.p5en.48xlarge. Servem para customização, como fine-tuning, destilação ou criação da sua própria quantização. O endpoint do JumpStart serve apenas os pesos base e não carrega adaptadores LoRA.
Nos resultados do model card da NVIDIA citados pela AWS, o NVFP4 empata com o BF16 no MMLongBench-Doc (62,82) e fica a cerca de um ponto nos demais testes multimodais. No OCRBench v2, a pontuação é 68,34 contra 68,12, e no OSWorld-Verified, 52,30 contra 51,14.
Velocidade medida
O benchmark usou 250 tokens de entrada e 1.500 de saída, com cinco requisições em streaming ao mesmo tempo. O NVFP4 em ml.g7.24xlarge gerou 63,07 tokens por segundo por requisição, com 0,45 segundo até o primeiro token. O BF16 em ml.p5en.48xlarge gerou 140,85 tokens por segundo, com 0,53 segundo. A AWS observa que as duas variantes rodaram em hardware diferente, então a comparação de precisão não é limpa. Com um prompt de 10.000 tokens, o tempo até o primeiro token em ml.g7.24xlarge subiu para 12,62 segundos.
Limites para conhecer antes de construir
- As configurações do JumpStart atendem de 520 a 15.600 tokens de contexto, bem abaixo do 1 milhão de tokens do modelo.
- Uma imagem e um vídeo por requisição. Uma página em imagem de 1.536 x 1.024 custa cerca de 1.536 tokens.
- O modelo recebe imagens e não PDFs brutos, então cada página precisa ser convertida antes.
- A mídia deve ser enviada inline em base64, porque o endpoint roda com isolamento de rede.
- A decodificação especulativa não está habilitada na configuração do JumpStart, embora o checkpoint inclua a cabeça para isso.
- Contas novas começam com cota zero para ml.g7, então peça um limite maior antes de colocar a implantação em produção. A implantação leva cerca de 10 minutos em ml.g7.24xlarge.
O endpoint expõe uma API de chat completions baseada em vLLM, então integrações de chat já existentes precisam de poucos ajustes.