Перейти к содержимому

AWS добавила единый эндпоинт для кластеров HyperPod

Короткий ответ

AWS представила Global Inference Gateway для SageMaker HyperPod. Это один управляемый эндпоинт перед всеми кластерами HyperPod команды, в одном регионе или в нескольких. Шлюз оценивает кластеры по нагрузке и ошибкам, отправляет каждый запрос на лучший и сам переключается при сбое. Доступен в 13 регионах AWS.

Что это значит для операций

Новость важна, только если компания уже хостит собственные модели на кластерах HyperPod, например внутреннего ассистента или модель для сортировки обращений в поддержку на арендованных GPU. В этом случае шлюз убирает из интеграций список эндпоинтов по каждому кластеру и ручное переключение трафика, когда кластер падает. CRM, helpdesk и автоматизации рабочих процессов смогут обращаться к одному подписанному эндпоинту. Если вы пользуетесь облачными API моделей, для вас ничего не меняется. Перед внедрением проверьте, что все кластеры, обслуживающие модель, настроены одинаково, включая проверку токенов идентичности, и учтите: опубликованные кластеры, не подключённые ни к одному шлюзу, всё равно тарифицируются за балансировщик нагрузки.

AWS представила Global Inference Gateway для Amazon SageMaker HyperPod - управляемый шлюз, который стоит над всеми кластерами HyperPod, зарегистрированными командой. Это второй уровень уже существующей схемы. Inference Gateway внутри кластера по-прежнему выбирает под в самом кластере, а новый слой выбирает кластер.

Какую проблему решает

AWS описывает типичную ситуацию: один кластер перегружен и держит запросы в очереди, а GPU на другом кластере, иногда в другом регионе, простаивают. В примере команда обслуживает четыре модели на пяти кластерах в двух регионах. До появления шлюза на уровне кластера клиентам приходилось отслеживать 20 эндпоинтов. Шлюз внутри кластера сократил их до пяти, но каждый клиент всё равно сам выбирал кластер, а для переключения при сбое инженер правил конфигурацию вручную.

Как это работает

Настройка занимает два шага. Сначала каждый кластер публикуется: в конфигурации существующего шлюза включают блок глобальной маршрутизации, после чего контроллер создаёт Network Load Balancer и сервис VPC endpoint в аккаунте самого клиента. Затем команда вызывает CreateGlobalInferenceGateway со списком кластеров и получает единый эндпоинт.

На каждый запрос шлюз оценивает все работоспособные кластеры по четырём сигналам: свободный KV-кэш и память GPU, глубина очереди, расстояние до региона шлюза и недавняя доля ошибок. По умолчанию веса равны 0,20, 0,25, 0,40 и 0,15. Веса можно менять, но их сумма должна быть равна 1,0. Если устойчивость важнее близости, AWS советует поднять вес ошибок.

Отказоустойчивость и безопасность

Когда кластер выходит из строя, трафик уходит на следующий по рейтингу кластер, а после восстановления возвращается постепенно. Неудачный запрос повторяется один раз на другом кластере, если потоковая передача ещё не началась. Если здоровых кластеров не осталось, шлюз отвечает ошибкой 503. Клиенты отправляют OpenAI-совместимые запросы, подписанные по SigV4 и авторизованные через IAM, а до кластеров трафик доходит только через AWS PrivateLink. По заявлению AWS, шлюз не логирует и не хранит промпты и ответы моделей.

Оговорки из публикации

  • Опубликованный кластер, не входящий ни в один шлюз, не получает трафика, но его балансировщик продолжает работать и тарифицируется.
  • Модель, которой нет ни в одном планировщике в конфигурации шлюза, недоступна и возвращает 404.
  • Проверку токенов идентичности нужно включать либо на всех кластерах, обслуживающих модель, либо ни на одном, иначе запрос пройдёт на одном кластере и упадёт на другом.
  • Шлюз можно ограничить одним регионом, включив в него только кластеры из этого региона.

Отдельной цены на шлюз источник не называет. Сервис доступен в 13 регионах AWS в Америке, Европе и Азиатско-Тихоокеанском регионе.

Источник: AWS Machine Learning Blog

Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц ассистенты не добираются и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.