Ir para o conteúdo

SageMaker passa a avisar sozinho sobre latência e GPU ociosa

Resposta curta

O Amazon SageMaker AI agora monitora por padrão endpoints de inferência de IA generativa que rodam contêineres vLLM em instâncias com GPU. Ele avisa sobre deriva de latência, GPUs quase ociosas e otimizações não aproveitadas pelo AWS Health, e permite comparar alternativas em benchmark antes de mudar qualquer coisa. O monitoramento não exige configuração nem tem custo de GPU.

O que isso significa na operação

Se o seu time hospeda um modelo próprio no SageMaker, como um assistente de suporte ou uma ferramenta interna de redação, você vai começar a receber avisos do AWS Health sem ter configurado nada. Defina agora quem na conta os recebe: a pessoa responsável pelo endpoint e pela fatura da AWS. Um alerta é o gatilho para rodar um benchmark. Pese a economia contra a folga de que você precisa para o crescimento esperado e aplique qualquer mudança primeiro em uma única variante. Se um modelo não deve ser mexido, defina a variável de exclusão no contêiner dele.

A Amazon incluiu monitoramento padrão nos endpoints de inferência do SageMaker AI, segundo um post no AWS Machine Learning Blog. A premissa é que um endpoint bem ajustado no lançamento vai se desviando aos poucos conforme mudam o tráfego, o tamanho dos prompts e o software de serving, e ninguém percebe porque nada chega a falhar.

O que é monitorado

O monitoramento vale para endpoints que usam contêineres de serving vLLM em instâncias com GPU e não exige configuração. O SageMaker observa apenas sinais operacionais: latência, uso de GPU e a configuração de serving do endpoint. A AWS afirma que não lê requisições nem respostas.

São gerados três tipos de alerta:

  • Deriva de latência: a latência mediana de ponta a ponta, ou o tempo até o primeiro token, sobe em relação à semana anterior.
  • Capacidade sem uso: GPUs que você paga e que ficam quase sempre ociosas.
  • Lacunas de configuração: um contêiner de serving sem melhorias recentes de desempenho ou correções de segurança, ou um recurso como decodificação especulativa ou ajuste de kernels de GPU que o modelo suportaria, mas que o endpoint não usa.

Como a latência é comparada com o histórico do próprio endpoint, você não precisa definir um limite de antemão.

Como os alertas chegam

Os avisos chegam pelo AWS Health e por e-mail, um por endpoint, reunindo todos os alertas daquele endpoint. Cada um indica qual endpoint foi afetado, o que foi observado, por que isso importa e qual o próximo passo recomendado. Eles são específicos de cada região da AWS, então aparecem quando você está logado na região em que o endpoint roda. A AWS também limita quantos avisos uma conta recebe de uma vez.

A ação recomendada abre o SageMaker Studio com o endpoint e o tráfego recente já carregados. Um agente resume o alerta e pede confirmação antes de agir. Em seguida, ele gera um notebook, com cada etapa em uma célula própria, que inicia um job de recomendação de inferência. O job compara a configuração atual com alternativas em tempo de resposta, vazão e custo por milhão de tokens.

Quanto custa e o que muda

O monitoramento em si não tem custo de GPU. Os benchmarks rodam em computação separada e são cobrados às tarifas padrão do SageMaker, ou contra a sua reserva de ML, se você tiver uma. O endpoint de produção continua intacto até que você aplique um resultado. O post sugere aplicar a mudança primeiro em uma única variante de produção e manter a configuração antiga disponível para voltar atrás.

Os cenários de exemplo do post incluem um assistente de chat que ficou lento com prompts mais longos baseados em recuperação de documentos, um modelo de autocompletar código que nunca ativou a decodificação especulativa e um endpoint de sumarização cuja GPU mais carregada usou 12% ou menos da capacidade na maior parte de uma semana. Nesse último caso, a AWS observa que manter o tamanho atual pode ser a decisão certa se há crescimento planejado.

Como desativar

Para excluir um endpoint, defina a variável de ambiente OPT_OUT_TRACKING, com qualquer valor, no ambiente do contêiner do modelo ao chamar CreateModel. Assim, o SageMaker não coleta telemetria de monitoramento daquele endpoint, incluindo métricas do motor e das GPUs, e não envia notificações sobre ele.

Para agir sobre um alerta, são necessários acesso ao AWS Health e ao AWS User Notifications, um domínio do SageMaker Studio, permissões do IAM para rodar jobs de recomendação e atualizar endpoints e cota de serviço suficiente para as instâncias do benchmark.

Fonte: AWS Machine Learning Blog

Próximo passo

Visibility Analyzer

Uma notícia sobre IA não diz como os assistentes veem o seu site. O Visibility Analyzer verifica isso no site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.