AWS ha presentado el Global Inference Gateway para Amazon SageMaker HyperPod, un gateway gestionado que se sitúa por encima de todos los clústeres HyperPod que un equipo registre. Es el segundo nivel de un diseño que ya existía: el Inference Gateway de cada clúster sigue eligiendo el pod dentro de este, y la nueva capa elige el clúster.
El problema que ataca
AWS describe una situación habitual: un clúster está saturado y encola peticiones mientras las GPU de otro, a veces en otra región, están libres. Su ejemplo es un equipo que sirve cuatro modelos en cinco clústeres repartidos en dos regiones. Antes del gateway por clúster, los clientes tenían que gestionar 20 endpoints. El gateway por clúster los redujo a cinco, pero cada cliente seguía teniendo que elegir clúster, y la conmutación por fallo exigía que un ingeniero editara la configuración a mano.
Cómo funciona
La puesta en marcha tiene dos pasos. Primero se publica cada clúster activando un bloque de enrutamiento global en la configuración de su gateway actual; el controlador crea entonces un Network Load Balancer y un servicio de endpoint de VPC en la cuenta del propio cliente. Después, el equipo llama a CreateGlobalInferenceGateway con la lista de clústeres y recibe un único endpoint.
Para cada petición, el gateway puntúa cada clúster sano con cuatro señales: caché KV y memoria de GPU disponibles, profundidad de la cola, distancia respecto a la región del gateway y tasa de errores reciente. Los valores por defecto ponderan estas señales con 0,20, 0,25, 0,40 y 0,15. Los equipos pueden cambiar los pesos, que deben sumar 1,0, y AWS sugiere subir el peso de los errores si la resiliencia importa más que la proximidad.
Conmutación por fallo y seguridad
Cuando un clúster falla, el tráfico pasa al siguiente mejor clúster y vuelve de forma gradual tras la recuperación. Una petición fallida se reintenta una vez en otro clúster, salvo que el streaming ya haya empezado. Si no queda ningún clúster sano, el gateway devuelve un 503. Los clientes envían peticiones compatibles con OpenAI, firmadas con SigV4 y autorizadas mediante IAM, y el tráfico llega a los clústeres únicamente a través de AWS PrivateLink. AWS afirma que el gateway no registra ni almacena prompts ni respuestas.
Salvedades que señala la publicación
- Un clúster publicado que no pertenece a ningún gateway no recibe tráfico, pero su balanceador de carga sigue funcionando y se factura.
- Un modelo ausente de todos los schedulers de la configuración del gateway no es accesible y devuelve un 404.
- Las verificaciones de tokens de identidad deben estar activadas en todos los clústeres que sirven un modelo o en ninguno, para que una petición no pase en uno y falle en otro.
- Un gateway puede limitarse a una región si solo incluye los clústeres de esa región.
La fuente no indica un precio aparte para el gateway. El servicio está disponible en 13 regiones de AWS de América, Europa y Asia-Pacífico.