AWS представила Global Inference Gateway для Amazon SageMaker HyperPod - управляемый шлюз, который стоит над всеми кластерами HyperPod, зарегистрированными командой. Это второй уровень уже существующей схемы. Inference Gateway внутри кластера по-прежнему выбирает под в самом кластере, а новый слой выбирает кластер.
Какую проблему решает
AWS описывает типичную ситуацию: один кластер перегружен и держит запросы в очереди, а GPU на другом кластере, иногда в другом регионе, простаивают. В примере команда обслуживает четыре модели на пяти кластерах в двух регионах. До появления шлюза на уровне кластера клиентам приходилось отслеживать 20 эндпоинтов. Шлюз внутри кластера сократил их до пяти, но каждый клиент всё равно сам выбирал кластер, а для переключения при сбое инженер правил конфигурацию вручную.
Как это работает
Настройка занимает два шага. Сначала каждый кластер публикуется: в конфигурации существующего шлюза включают блок глобальной маршрутизации, после чего контроллер создаёт Network Load Balancer и сервис VPC endpoint в аккаунте самого клиента. Затем команда вызывает CreateGlobalInferenceGateway со списком кластеров и получает единый эндпоинт.
На каждый запрос шлюз оценивает все работоспособные кластеры по четырём сигналам: свободный KV-кэш и память GPU, глубина очереди, расстояние до региона шлюза и недавняя доля ошибок. По умолчанию веса равны 0,20, 0,25, 0,40 и 0,15. Веса можно менять, но их сумма должна быть равна 1,0. Если устойчивость важнее близости, AWS советует поднять вес ошибок.
Отказоустойчивость и безопасность
Когда кластер выходит из строя, трафик уходит на следующий по рейтингу кластер, а после восстановления возвращается постепенно. Неудачный запрос повторяется один раз на другом кластере, если потоковая передача ещё не началась. Если здоровых кластеров не осталось, шлюз отвечает ошибкой 503. Клиенты отправляют OpenAI-совместимые запросы, подписанные по SigV4 и авторизованные через IAM, а до кластеров трафик доходит только через AWS PrivateLink. По заявлению AWS, шлюз не логирует и не хранит промпты и ответы моделей.
Оговорки из публикации
- Опубликованный кластер, не входящий ни в один шлюз, не получает трафика, но его балансировщик продолжает работать и тарифицируется.
- Модель, которой нет ни в одном планировщике в конфигурации шлюза, недоступна и возвращает 404.
- Проверку токенов идентичности нужно включать либо на всех кластерах, обслуживающих модель, либо ни на одном, иначе запрос пройдёт на одном кластере и упадёт на другом.
- Шлюз можно ограничить одним регионом, включив в него только кластеры из этого региона.
Отдельной цены на шлюз источник не называет. Сервис доступен в 13 регионах AWS в Америке, Европе и Азиатско-Тихоокеанском регионе.