Amazon ha incorporado monitorización por defecto a los endpoints de inferencia de SageMaker AI, según una entrada del blog de Machine Learning de AWS. La premisa es que un endpoint bien ajustado el día del lanzamiento se va desviando poco a poco a medida que cambian el tráfico, la longitud de los prompts y el software de serving, y nadie lo advierte porque nada llega a fallar.
Qué se monitoriza
La monitorización está activa en los endpoints que usan contenedores de serving vLLM sobre instancias con GPU. No requiere configuración. SageMaker observa solo señales operativas: latencia, uso de GPU y la configuración de serving del endpoint. AWS afirma que no lee las peticiones ni las respuestas.
Se generan tres tipos de hallazgos:
- Deriva de latencia: la latencia mediana de extremo a extremo, o el tiempo hasta el primer token, sube respecto a la semana anterior.
- Capacidad sin usar: GPU que se pagan y permanecen casi siempre ociosas.
- Carencias de configuración: un contenedor de serving sin mejoras recientes de rendimiento ni correcciones de seguridad, o una mejora como la decodificación especulativa o el ajuste de kernels de GPU que el modelo podría aprovechar y el endpoint no emplea.
Como la latencia se compara con el propio historial del endpoint, no hay que fijar un umbral de antemano.
Cómo llegan los hallazgos
Los avisos llegan por AWS Health y por correo electrónico, uno por endpoint, y reúnen todos los hallazgos de ese endpoint. Cada uno indica qué endpoint está afectado, qué se ha observado, por qué importa y cuál es el siguiente paso recomendado. Dependen de la región de AWS, así que se ven al iniciar sesión en la región donde se ejecuta el endpoint. AWS también limita cuántos puede recibir una cuenta a la vez.
La acción recomendada abre SageMaker Studio con el endpoint y su tráfico reciente ya cargados. Un agente resume el hallazgo y pide confirmación antes de actuar. Después genera un notebook, con cada paso en su propia celda, que lanza un trabajo de recomendación de inferencia. Ese trabajo compara tu configuración actual con alternativas en tiempo de respuesta, rendimiento y coste por millón de tokens.
Qué cuesta y qué cambia
La monitorización en sí no tiene coste de GPU. Los benchmarks se ejecutan en cómputo aparte y se facturan a las tarifas estándar de SageMaker, o contra tu reserva de ML si dispones de una. Tu endpoint de producción no cambia hasta que apliques un resultado. La entrada sugiere aplicar el cambio primero a una sola variante de producción y mantener disponible la configuración anterior para poder revertir.
Los escenarios de ejemplo del texto incluyen un asistente de chat ralentizado por prompts más largos basados en recuperación, un modelo de autocompletado de código que nunca activó la decodificación especulativa y un endpoint de resúmenes cuya GPU más ocupada usó el 12 % o menos de su capacidad durante la mayor parte de una semana. En este último caso, AWS señala que mantener el tamaño actual puede ser lo acertado si hay crecimiento previsto.
Cómo excluir un endpoint
Para dejar fuera un endpoint, hay que definir la variable de entorno OPT_OUT_TRACKING, con cualquier valor, en el entorno del contenedor del modelo al llamar a CreateModel. Entonces SageMaker no recoge telemetría de monitorización de ese endpoint, incluidas las métricas del motor y de la GPU, ni envía notificaciones sobre él.
Actuar sobre un hallazgo exige acceso a AWS Health y a AWS User Notifications, un dominio de SageMaker Studio, permisos de IAM para ejecutar trabajos de recomendación y actualizar endpoints, y cuota de servicio suficiente para las instancias del benchmark.