A AWS apresentou o Global Inference Gateway para o Amazon SageMaker HyperPod, um gateway gerenciado que fica acima de todos os clusters HyperPod cadastrados por uma equipe. Ele é a segunda camada de uma arquitetura que já existia: o Inference Gateway de cada cluster continua escolhendo o pod dentro do cluster, e a nova camada escolhe o cluster.
O problema que ele ataca
A AWS descreve uma situação comum: um cluster está saturado e enfileirando requisições, enquanto as GPUs de outro cluster, às vezes em outra Região, ficam ociosas. O exemplo dado é o de uma equipe que atende quatro modelos em cinco clusters, distribuídos em duas Regiões. Antes do gateway por cluster, os clientes controlavam 20 endpoints. O gateway por cluster reduziu isso para cinco, mas cada cliente ainda precisava escolher um cluster, e o failover exigia que um engenheiro editasse a configuração na mão.
Como funciona
A configuração tem duas etapas. Primeiro, cada cluster é publicado ao ativar um bloco de roteamento global na configuração do gateway que ele já tem; o controlador então cria, na conta do próprio cliente, um Network Load Balancer e um serviço de endpoint de VPC. Depois, a equipe chama CreateGlobalInferenceGateway com a lista de clusters e recebe um único endpoint.
A cada requisição, o gateway dá uma nota para cada cluster saudável com base em quatro sinais: KV cache e memória de GPU disponíveis, profundidade da fila, distância da Região do gateway e taxa recente de erros. Os pesos padrão são 0.20, 0.25, 0.40 e 0.15, nessa ordem. A equipe pode alterar os pesos, desde que somem 1.0, e a AWS sugere aumentar o peso do erro quando a resiliência importa mais que a proximidade.
Failover e segurança
Quando um cluster falha, o tráfego vai para o próximo melhor e volta aos poucos depois da recuperação. Uma requisição que falha é repetida uma vez em outro cluster, a menos que o streaming já tenha começado. Se não sobrar nenhum cluster saudável, o gateway devolve um 503. Os clientes enviam requisições compatíveis com OpenAI, assinadas com SigV4 e autorizadas via IAM, e o tráfego chega aos clusters apenas por AWS PrivateLink. A AWS afirma que o gateway não registra nem armazena prompts ou respostas.
Ressalvas do post
- Um cluster publicado que não pertence a nenhum gateway não recebe tráfego, mas o load balancer dele continua ligado e sendo cobrado.
- Um modelo ausente de todos os schedulers na configuração do gateway fica inacessível e retorna 404.
- A checagem de tokens de identidade deve estar ligada em todos os clusters que atendem um modelo, ou em nenhum, para que uma requisição não passe em um cluster e falhe em outro.
- Dá para limitar um gateway a uma única Região incluindo apenas os clusters dela.
A fonte não informa um preço separado para o gateway. O serviço está disponível em 13 Regiões da AWS nas Américas, na Europa e na Ásia-Pacífico.