Saltar al contenido

SageMaker detecta por sí solo deriva de latencia y GPU ociosas

Respuesta corta

Amazon SageMaker AI ya monitoriza por defecto los endpoints de inferencia de IA generativa que usan contenedores vLLM en instancias con GPU. Informa a través de AWS Health de la deriva de latencia, las GPU casi ociosas y las optimizaciones sin aplicar, y permite comparar alternativas antes de tocar nada. No requiere configuración ni tiene coste de GPU.

Qué significa para las operaciones

Si tu equipo aloja su propio modelo en SageMaker, por ejemplo un asistente de soporte o una herramienta interna de redacción, empezarás a recibir avisos de AWS Health sin haber configurado nada. Decide ya quién de la cuenta los recibe: la persona responsable del endpoint y de la factura de AWS. Un hallazgo es el aviso para lanzar un benchmark. Pondera el ahorro frente al margen que necesitas para el crecimiento previsto y aplica cualquier cambio primero a una sola variante. Si un modelo no debe tocarse, define la variable de exclusión en su contenedor.

Amazon ha incorporado monitorización por defecto a los endpoints de inferencia de SageMaker AI, según una entrada del blog de Machine Learning de AWS. La premisa es que un endpoint bien ajustado el día del lanzamiento se va desviando poco a poco a medida que cambian el tráfico, la longitud de los prompts y el software de serving, y nadie lo advierte porque nada llega a fallar.

Qué se monitoriza

La monitorización está activa en los endpoints que usan contenedores de serving vLLM sobre instancias con GPU. No requiere configuración. SageMaker observa solo señales operativas: latencia, uso de GPU y la configuración de serving del endpoint. AWS afirma que no lee las peticiones ni las respuestas.

Se generan tres tipos de hallazgos:

  • Deriva de latencia: la latencia mediana de extremo a extremo, o el tiempo hasta el primer token, sube respecto a la semana anterior.
  • Capacidad sin usar: GPU que se pagan y permanecen casi siempre ociosas.
  • Carencias de configuración: un contenedor de serving sin mejoras recientes de rendimiento ni correcciones de seguridad, o una mejora como la decodificación especulativa o el ajuste de kernels de GPU que el modelo podría aprovechar y el endpoint no emplea.

Como la latencia se compara con el propio historial del endpoint, no hay que fijar un umbral de antemano.

Cómo llegan los hallazgos

Los avisos llegan por AWS Health y por correo electrónico, uno por endpoint, y reúnen todos los hallazgos de ese endpoint. Cada uno indica qué endpoint está afectado, qué se ha observado, por qué importa y cuál es el siguiente paso recomendado. Dependen de la región de AWS, así que se ven al iniciar sesión en la región donde se ejecuta el endpoint. AWS también limita cuántos puede recibir una cuenta a la vez.

La acción recomendada abre SageMaker Studio con el endpoint y su tráfico reciente ya cargados. Un agente resume el hallazgo y pide confirmación antes de actuar. Después genera un notebook, con cada paso en su propia celda, que lanza un trabajo de recomendación de inferencia. Ese trabajo compara tu configuración actual con alternativas en tiempo de respuesta, rendimiento y coste por millón de tokens.

Qué cuesta y qué cambia

La monitorización en sí no tiene coste de GPU. Los benchmarks se ejecutan en cómputo aparte y se facturan a las tarifas estándar de SageMaker, o contra tu reserva de ML si dispones de una. Tu endpoint de producción no cambia hasta que apliques un resultado. La entrada sugiere aplicar el cambio primero a una sola variante de producción y mantener disponible la configuración anterior para poder revertir.

Los escenarios de ejemplo del texto incluyen un asistente de chat ralentizado por prompts más largos basados en recuperación, un modelo de autocompletado de código que nunca activó la decodificación especulativa y un endpoint de resúmenes cuya GPU más ocupada usó el 12 % o menos de su capacidad durante la mayor parte de una semana. En este último caso, AWS señala que mantener el tamaño actual puede ser lo acertado si hay crecimiento previsto.

Cómo excluir un endpoint

Para dejar fuera un endpoint, hay que definir la variable de entorno OPT_OUT_TRACKING, con cualquier valor, en el entorno del contenedor del modelo al llamar a CreateModel. Entonces SageMaker no recoge telemetría de monitorización de ese endpoint, incluidas las métricas del motor y de la GPU, ni envía notificaciones sobre él.

Actuar sobre un hallazgo exige acceso a AWS Health y a AWS User Notifications, un dominio de SageMaker Studio, permisos de IAM para ejecutar trabajos de recomendación y actualizar endpoints, y cuota de servicio suficiente para las instancias del benchmark.

Fuente: AWS Machine Learning Blog

Siguiente paso

Visibility Analyzer

Una noticia sobre IA no dice cómo los asistentes ven tu sitio. El Visibility Analyzer lo comprueba en el sitio real: qué respuestas te citan, qué páginas el motor no puede recuperar y qué arreglar primero. Ejecutarlo es gratis.

Lanzar una auditoría de visibilidad gratuita

Lanzarlo es gratis. Sin tarjeta.

Precio
Gratis
Duración
Una ejecución, minutos

Plan gratuito: dos análisis al día, sin tarjeta.