Amazon добавила в эндпоинты инференса SageMaker AI мониторинг по умолчанию, сообщается в публикации AWS Machine Learning Blog. Исходная идея такая: эндпоинт, настроенный при запуске, со временем «уплывает» вслед за трафиком, длиной промптов и версиями серверного ПО, а заметить это некому, потому что ничего формально не ломается.
Что отслеживается
Мониторинг включён для эндпоинтов, которые используют контейнеры vLLM на GPU-инстансах. Настраивать ничего не нужно. SageMaker смотрит только на операционные сигналы: задержки, загрузку GPU и конфигурацию обслуживания. По заявлению AWS, запросы и ответы сервис не читает.
Находки бывают трёх видов:
- Дрейф задержек: медианная сквозная задержка или время до первого токена выросли по сравнению с прошлой неделей.
- Неиспользуемая мощность: GPU, за которые вы платите, большую часть времени простаивают.
- Пробелы в конфигурации: в контейнере нет свежих улучшений производительности или исправлений безопасности, либо модель умеет использовать оптимизацию вроде спекулятивного декодирования или тонкой настройки GPU-ядер, а эндпоинт её не применяет.
Задержки сравниваются с историей самого эндпоинта, поэтому порог заранее задавать не требуется.
Как находки доходят до вас
Уведомления приходят через AWS Health и по электронной почте, по одному на эндпоинт, и охватывают все его находки. В каждом указано, какой эндпоинт затронут, что замечено, почему это важно и что рекомендуется сделать дальше. Они привязаны к региону AWS, поэтому видны при входе в тот регион, где работает эндпоинт. Кроме того, AWS ограничивает, сколько уведомлений аккаунт получает одновременно.
Рекомендуемое действие открывает SageMaker Studio с уже загруженными эндпоинтом и его недавним трафиком. Агент кратко описывает находку и просит подтверждение, прежде чем что-то делать. Затем он создаёт ноутбук, где каждый шаг вынесен в отдельную ячейку, и запускает задачу рекомендаций по инференсу. Она сравнивает текущую конфигурацию с альтернативами по времени ответа, пропускной способности и стоимости за миллион токенов.
Сколько это стоит и что меняет
Сам мониторинг не расходует GPU. Бенчмарки выполняются на отдельных вычислительных ресурсах и оплачиваются по стандартным тарифам SageMaker или за счёт вашего ML-резерва, если он есть. Рабочий эндпоинт остаётся прежним, пока вы не примените результат. В публикации советуют сначала менять один производственный вариант и держать старую конфигурацию под рукой для отката.
Среди примеров в публикации: чат-ассистент, замедлившийся из-за более длинных промптов с подтягиваемым контекстом; модель автодополнения кода, у которой так и не включили спекулятивное декодирование; и эндпоинт для саммаризации, где самый загруженный GPU большую часть недели использовал не более 12 процентов мощности. В последнем случае AWS отмечает, что оставить текущий размер может быть верным решением, если запланирован рост.
Как отказаться
Чтобы исключить эндпоинт из мониторинга, задайте переменную окружения OPT_OUT_TRACKING с любым значением в окружении контейнера модели при вызове CreateModel. После этого SageMaker не собирает для такого эндпоинта телеметрию мониторинга, включая метрики движка и GPU, и не присылает по нему уведомлений.
Чтобы действовать по находке, нужны доступ к AWS Health и AWS User Notifications, домен SageMaker Studio, права IAM на запуск задач рекомендаций и обновление эндпоинтов, а также достаточная квота сервиса под инстансы для бенчмарков.