Saltar al contenido

AWS unifica en un solo endpoint los clústeres de HyperPod

Respuesta corta

AWS presentó el Global Inference Gateway para SageMaker HyperPod. Ofrece un único endpoint gestionado delante de todos los clústeres HyperPod, de una o varias regiones. Puntúa cada clúster según carga y errores, envía cada petición al mejor y conmuta solo ante fallos. Está disponible en 13 regiones de AWS.

Qué significa para las operaciones

Esto solo importa si tu empresa ya aloja sus propios modelos en clústeres HyperPod, por ejemplo un asistente interno o un modelo de triaje de soporte que corre en GPU alquiladas. En ese caso, el gateway elimina la lista de endpoints por clúster que arrastran tus integraciones y el cambio manual de tráfico cuando un clúster cae. Tu CRM, tu helpdesk y tus automatizaciones de flujo pueden llamar a un único endpoint firmado. Si usas APIs de modelos alojados por terceros, no cambia nada para ti. Antes de adoptarlo, comprueba que todos los clústeres que sirven un modelo estén configurados igual, incluidas las verificaciones de tokens de identidad, y ten en cuenta que los clústeres publicados que no pertenecen a ningún gateway siguen generando cargos por el balanceador de carga.

AWS ha presentado el Global Inference Gateway para Amazon SageMaker HyperPod, un gateway gestionado que se sitúa por encima de todos los clústeres HyperPod que un equipo registre. Es el segundo nivel de un diseño que ya existía: el Inference Gateway de cada clúster sigue eligiendo el pod dentro de este, y la nueva capa elige el clúster.

El problema que ataca

AWS describe una situación habitual: un clúster está saturado y encola peticiones mientras las GPU de otro, a veces en otra región, están libres. Su ejemplo es un equipo que sirve cuatro modelos en cinco clústeres repartidos en dos regiones. Antes del gateway por clúster, los clientes tenían que gestionar 20 endpoints. El gateway por clúster los redujo a cinco, pero cada cliente seguía teniendo que elegir clúster, y la conmutación por fallo exigía que un ingeniero editara la configuración a mano.

Cómo funciona

La puesta en marcha tiene dos pasos. Primero se publica cada clúster activando un bloque de enrutamiento global en la configuración de su gateway actual; el controlador crea entonces un Network Load Balancer y un servicio de endpoint de VPC en la cuenta del propio cliente. Después, el equipo llama a CreateGlobalInferenceGateway con la lista de clústeres y recibe un único endpoint.

Para cada petición, el gateway puntúa cada clúster sano con cuatro señales: caché KV y memoria de GPU disponibles, profundidad de la cola, distancia respecto a la región del gateway y tasa de errores reciente. Los valores por defecto ponderan estas señales con 0,20, 0,25, 0,40 y 0,15. Los equipos pueden cambiar los pesos, que deben sumar 1,0, y AWS sugiere subir el peso de los errores si la resiliencia importa más que la proximidad.

Conmutación por fallo y seguridad

Cuando un clúster falla, el tráfico pasa al siguiente mejor clúster y vuelve de forma gradual tras la recuperación. Una petición fallida se reintenta una vez en otro clúster, salvo que el streaming ya haya empezado. Si no queda ningún clúster sano, el gateway devuelve un 503. Los clientes envían peticiones compatibles con OpenAI, firmadas con SigV4 y autorizadas mediante IAM, y el tráfico llega a los clústeres únicamente a través de AWS PrivateLink. AWS afirma que el gateway no registra ni almacena prompts ni respuestas.

Salvedades que señala la publicación

  • Un clúster publicado que no pertenece a ningún gateway no recibe tráfico, pero su balanceador de carga sigue funcionando y se factura.
  • Un modelo ausente de todos los schedulers de la configuración del gateway no es accesible y devuelve un 404.
  • Las verificaciones de tokens de identidad deben estar activadas en todos los clústeres que sirven un modelo o en ninguno, para que una petición no pase en uno y falle en otro.
  • Un gateway puede limitarse a una región si solo incluye los clústeres de esa región.

La fuente no indica un precio aparte para el gateway. El servicio está disponible en 13 regiones de AWS de América, Europa y Asia-Pacífico.

Fuente: AWS Machine Learning Blog

Las herramientas de esta noticia

  • OpenAI - precio, quién la usa, alternativas
Siguiente paso

Visibility Analyzer

Una noticia sobre IA no dice cómo los asistentes ven tu sitio. El Visibility Analyzer lo comprueba en el sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.