Перейти к содержимому

SageMaker сама отмечает рост задержек и простой GPU

Короткий ответ

Amazon SageMaker AI теперь по умолчанию следит за эндпоинтами генеративного ИИ на контейнерах vLLM и GPU-инстансах. О росте задержек, почти простаивающих GPU и упущенных оптимизациях он сообщает через AWS Health, а затем предлагает сравнить альтернативы бенчмарком до любых изменений. Настройка не нужна, мониторинг не расходует GPU.

Что это значит для операций

Если ваша команда держит собственную модель на SageMaker, например ассистента поддержки или внутренний инструмент для черновиков, уведомления AWS Health начнут приходить без всякой настройки. Решите заранее, кто в аккаунте их получает: это должен быть владелец эндпоинта и счёта AWS. Находка - повод запустить бенчмарк. Сопоставьте возможную экономию с запасом мощности, который нужен под ожидаемый рост, и применяйте любое изменение сначала на одном варианте. Если модель трогать не нужно, задайте в её контейнере переменную для отказа от мониторинга.

Amazon добавила в эндпоинты инференса SageMaker AI мониторинг по умолчанию, сообщается в публикации AWS Machine Learning Blog. Исходная идея такая: эндпоинт, настроенный при запуске, со временем «уплывает» вслед за трафиком, длиной промптов и версиями серверного ПО, а заметить это некому, потому что ничего формально не ломается.

Что отслеживается

Мониторинг включён для эндпоинтов, которые используют контейнеры vLLM на GPU-инстансах. Настраивать ничего не нужно. SageMaker смотрит только на операционные сигналы: задержки, загрузку GPU и конфигурацию обслуживания. По заявлению AWS, запросы и ответы сервис не читает.

Находки бывают трёх видов:

  • Дрейф задержек: медианная сквозная задержка или время до первого токена выросли по сравнению с прошлой неделей.
  • Неиспользуемая мощность: GPU, за которые вы платите, большую часть времени простаивают.
  • Пробелы в конфигурации: в контейнере нет свежих улучшений производительности или исправлений безопасности, либо модель умеет использовать оптимизацию вроде спекулятивного декодирования или тонкой настройки GPU-ядер, а эндпоинт её не применяет.

Задержки сравниваются с историей самого эндпоинта, поэтому порог заранее задавать не требуется.

Как находки доходят до вас

Уведомления приходят через AWS Health и по электронной почте, по одному на эндпоинт, и охватывают все его находки. В каждом указано, какой эндпоинт затронут, что замечено, почему это важно и что рекомендуется сделать дальше. Они привязаны к региону AWS, поэтому видны при входе в тот регион, где работает эндпоинт. Кроме того, AWS ограничивает, сколько уведомлений аккаунт получает одновременно.

Рекомендуемое действие открывает SageMaker Studio с уже загруженными эндпоинтом и его недавним трафиком. Агент кратко описывает находку и просит подтверждение, прежде чем что-то делать. Затем он создаёт ноутбук, где каждый шаг вынесен в отдельную ячейку, и запускает задачу рекомендаций по инференсу. Она сравнивает текущую конфигурацию с альтернативами по времени ответа, пропускной способности и стоимости за миллион токенов.

Сколько это стоит и что меняет

Сам мониторинг не расходует GPU. Бенчмарки выполняются на отдельных вычислительных ресурсах и оплачиваются по стандартным тарифам SageMaker или за счёт вашего ML-резерва, если он есть. Рабочий эндпоинт остаётся прежним, пока вы не примените результат. В публикации советуют сначала менять один производственный вариант и держать старую конфигурацию под рукой для отката.

Среди примеров в публикации: чат-ассистент, замедлившийся из-за более длинных промптов с подтягиваемым контекстом; модель автодополнения кода, у которой так и не включили спекулятивное декодирование; и эндпоинт для саммаризации, где самый загруженный GPU большую часть недели использовал не более 12 процентов мощности. В последнем случае AWS отмечает, что оставить текущий размер может быть верным решением, если запланирован рост.

Как отказаться

Чтобы исключить эндпоинт из мониторинга, задайте переменную окружения OPT_OUT_TRACKING с любым значением в окружении контейнера модели при вызове CreateModel. После этого SageMaker не собирает для такого эндпоинта телеметрию мониторинга, включая метрики движка и GPU, и не присылает по нему уведомлений.

Чтобы действовать по находке, нужны доступ к AWS Health и AWS User Notifications, домен SageMaker Studio, права IAM на запуск задач рекомендаций и обновление эндпоинтов, а также достаточная квота сервиса под инстансы для бенчмарков.

Источник: AWS Machine Learning Blog

Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц ассистенты не добираются и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.

Ещё по теме