Amazon Web Services представила кросс-региональный инференс для моделей GPT-5.6 от OpenAI в Amazon Bedrock — управляемом сервисе для размещения моделей. Функция автоматически направляет запросы на инференс в тот из поддерживаемых регионов AWS, где есть доступная мощность, вместо того чтобы заставлять приложение клиента отправлять каждый запрос в один фиксированный регион.
Ранее всплеск спроса на GPT-5.6 в одном регионе мог приводить к троттлингу или постановке запросов в очередь, даже если мощности простаивали в других местах. Кросс-региональный инференс призван сгладить эту проблему: слой маршрутизации Bedrock выбирает регион для каждого запроса отдельно, а биллинг и учёт квот унифицированы, так что клиентам не нужно вручную сводить использование по разным регионам.
Командам, уже интегрировавшим GPT-5.6 в продакшн-системы через Bedrock, не потребуется менять код, чтобы воспользоваться новой логикой маршрутизации — достаточно подключить опубликованный AWS профиль кросс-регионального инференса для этой модели. AWS уточняет, что изменение касается конкретно вариантов модели GPT-5.6, доступных в Bedrock; другие модели платформы это объявление не затрагивает.
Практический эффект — меньше неудачных или задержанных вызовов в периоды высокого спроса, что особенно важно для приложений, где GPT-5.6 стоит непосредственно на пути обслуживания клиента: чат-бот поддержки, агент маршрутизации входящих лидов или ассистент по статусу заказа. Меняются именно задержка и доступность, а не возможности модели: результаты работы GPT-5.6 и цена за токен этим обновлением не затрагиваются, хотя AWS не опубликовала отдельных данных о стоимости кросс-региональной маршрутизации по сравнению с вызовами в одном регионе — это стоит уточнить по актуальным страницам цен Bedrock, прежде чем считать стоимость одинаковой.
Компаниям, использующим AI-сценарии на Bedrock с GPT-5.6, стоит проверить, работает ли их текущее развёртывание через единый региональный эндпоинт или уже через новый профиль кросс-регионального инференса, поскольку переход на него добровольный, а не автоматический. Команды, которые ранее построили собственную логику повторных попыток или мультирегионального отказоустойчивого переключения для обхода прежних проблем с троттлингом, смогут отказаться от этого самописного кода после подтверждения стабильности кросс-регионального инференса в продакшне — впрочем, с учётом того, что функция объявлена недавно, разумно предусмотреть переходный период с параллельным мониторингом.