AWS объявила о новой версии runtime, лежащего в основе Amazon Bedrock AgentCore - управляемого вычислительного слоя, который команды используют для развёртывания и запуска AI-агентов без собственной инфраструктуры.
Изменение бьёт по двум статьям расходов, которые проявляются, когда агенты переходят от коротких чат-обменов к более длительной, часто простаивающей продуктивной работе. Первое - память: исходный runtime удерживал пиковое выделение памяти сессии до её завершения, даже после того как агент перестал её использовать, поэтому неравномерно нагруженные или долго работающие агенты платили за свой максимум всё время работы. Новый runtime стартует каждую сессию с небольшого объёма памяти и подгружает больше только по мере необходимости, освобождая память, как только сессия остывает. По данным AWS, биллинг теперь отражает это освобождённое использование, а не пик.
Второе - холодный старт: раньше запуск свежего окружения замедлялся по мере роста размера образа контейнера или конкурентности. Собственное тестирование AWS - 5000 холодных запусков на агента при пяти размерах образа, с пустым echo-агентом, не вызывающим ни модель, ни инструменты - показало, что P75-задержка холодного старта у исходного runtime росла с примерно 5,4 секунды до почти 30 секунд при увеличении размера образа. Новый runtime готовит и снимает снапшот окружения один раз, а затем восстанавливает этот снапшот для каждого нового инстанса, удерживая P75-задержку холодного старта на уровне примерно 2 секунд для образов от 200 МБ до 2 ГБ - независимо от их размера.
AWS описывает итоговый эффект как более высокую ставку за единицу, но заметно меньшее количество оплачиваемых гигабайт-часов, из-за чего для большинства агентов итоговый счёт снижается: объём памяти сокращается сильнее, чем растёт ставка.
Чтобы перейти на новый runtime, разработчикам нужно указать параметр platformVersion со значением V2 при создании или обновлении runtime. AWS также перечислила ряд функций, которые появятся позже: фиксированные базовые тарифы (резервирование минимального объёма памяти с возможностью превышения), более крупные варианты вычислительных ресурсов и хранилища, поддержка x86 microVM, приостановка и восстановление сессий со снапшотами памяти, а также ограниченная идентичность для агентов, работающих без присмотра человека, через ключи контекста сессии - призванная ограничить, что агент может делать без наблюдения человека.