Ir para o conteúdo

AWS lança endpoint único para clusters de GPU no HyperPod

Resposta curta

A AWS apresentou o Global Inference Gateway para o SageMaker HyperPod. Ele dá às equipes um único endpoint gerenciado na frente de todos os clusters HyperPod, em uma ou várias Regiões. O gateway pontua os clusters por carga e erros, envia cada requisição ao melhor e faz failover automático. Está disponível em 13 Regiões da AWS.

O que isso significa na operação

Isso só importa se a sua empresa já hospeda modelos próprios em clusters HyperPod, por exemplo um assistente interno ou um modelo de triagem de suporte rodando em GPUs alugadas. Nesse caso, o gateway elimina a lista de endpoints por cluster que suas integrações carregam e a troca manual de tráfego quando um cluster cai. CRM, helpdesk e automações de fluxo de trabalho passam a chamar um único endpoint assinado. Se você usa APIs de modelos hospedados, nada muda. Antes de adotar, confira se todos os clusters que atendem um modelo estão configurados do mesmo jeito, inclusive a validação de tokens de identidade, e lembre que clusters publicados que não pertencem a nenhum gateway continuam gerando cobrança de load balancer.

A AWS apresentou o Global Inference Gateway para o Amazon SageMaker HyperPod, um gateway gerenciado que fica acima de todos os clusters HyperPod cadastrados por uma equipe. Ele é a segunda camada de uma arquitetura que já existia: o Inference Gateway de cada cluster continua escolhendo o pod dentro do cluster, e a nova camada escolhe o cluster.

O problema que ele ataca

A AWS descreve uma situação comum: um cluster está saturado e enfileirando requisições, enquanto as GPUs de outro cluster, às vezes em outra Região, ficam ociosas. O exemplo dado é o de uma equipe que atende quatro modelos em cinco clusters, distribuídos em duas Regiões. Antes do gateway por cluster, os clientes controlavam 20 endpoints. O gateway por cluster reduziu isso para cinco, mas cada cliente ainda precisava escolher um cluster, e o failover exigia que um engenheiro editasse a configuração na mão.

Como funciona

A configuração tem duas etapas. Primeiro, cada cluster é publicado ao ativar um bloco de roteamento global na configuração do gateway que ele já tem; o controlador então cria, na conta do próprio cliente, um Network Load Balancer e um serviço de endpoint de VPC. Depois, a equipe chama CreateGlobalInferenceGateway com a lista de clusters e recebe um único endpoint.

A cada requisição, o gateway dá uma nota para cada cluster saudável com base em quatro sinais: KV cache e memória de GPU disponíveis, profundidade da fila, distância da Região do gateway e taxa recente de erros. Os pesos padrão são 0.20, 0.25, 0.40 e 0.15, nessa ordem. A equipe pode alterar os pesos, desde que somem 1.0, e a AWS sugere aumentar o peso do erro quando a resiliência importa mais que a proximidade.

Failover e segurança

Quando um cluster falha, o tráfego vai para o próximo melhor e volta aos poucos depois da recuperação. Uma requisição que falha é repetida uma vez em outro cluster, a menos que o streaming já tenha começado. Se não sobrar nenhum cluster saudável, o gateway devolve um 503. Os clientes enviam requisições compatíveis com OpenAI, assinadas com SigV4 e autorizadas via IAM, e o tráfego chega aos clusters apenas por AWS PrivateLink. A AWS afirma que o gateway não registra nem armazena prompts ou respostas.

Ressalvas do post

  • Um cluster publicado que não pertence a nenhum gateway não recebe tráfego, mas o load balancer dele continua ligado e sendo cobrado.
  • Um modelo ausente de todos os schedulers na configuração do gateway fica inacessível e retorna 404.
  • A checagem de tokens de identidade deve estar ligada em todos os clusters que atendem um modelo, ou em nenhum, para que uma requisição não passe em um cluster e falhe em outro.
  • Dá para limitar um gateway a uma única Região incluindo apenas os clusters dela.

A fonte não informa um preço separado para o gateway. O serviço está disponível em 13 Regiões da AWS nas Américas, na Europa e na Ásia-Pacífico.

Fonte: AWS Machine Learning Blog

As ferramentas desta notícia

  • OpenAI - preço, quem usa, alternativas
Próximo passo

Visibility Analyzer

Uma notícia sobre IA não diz como os assistentes veem o seu site. O Visibility Analyzer verifica isso no site real: quais respostas citam você, quais páginas o motor não consegue recuperar e o que corrigir primeiro. Rodar é grátis.

Rodar uma auditoria de visibilidade grátis

Rodar é grátis. Sem cartão.

Preço
Grátis
Duração
Uma rodada, minutos

Plano grátis: duas análises por dia, sem cartão.