AWS опубликовала подробности об AgentCore Evaluations — новой возможности мониторинга ИИ-агентов после их вывода в продакшен, в сочетании с DevOps Agent для автоматического реагирования на обнаруженные проблемы.
Суть проблемы, которую решает этот инструмент: команды, создающие агентов на Bedrock AgentCore, обычно тщательно тестируют их перед запуском, но располагают ограниченными инструментами для отслеживания того, как агент работает при реальном трафике. Поведение модели может меняться из-за обновлений базовой модели, изменений в данных, из которых агент извлекает информацию, или просто из-за пограничных случаев, не охваченных тестированием. AgentCore Evaluations запускает непрерывную оценку по настраиваемым метрикам — включая завершённость задач, релевантность ответов и безопасность — и выводит результаты через дашборды и оповещения.
Компонент DevOps Agent добавляет автоматизированную триаж-логику: когда показатели отслеживаемого агента опускаются ниже установленного порога, он может запускать процессы расследования или устранения проблем, а не требовать, чтобы человек первым заметил это на дашборде.
Это часть более широкой тенденции среди облачных провайдеров и фреймворков для агентов — рассматривать мониторинг в продакшене как обязательное требование для агентного ИИ, а не как второстепенную задачу. По мере того как всё больше компаний переводят ИИ-агентов из пилотной стадии в продакшен для клиентских и операционных задач, отсутствие наблюдаемости во время выполнения стало постоянным пробелом — командам, как правило, приходилось выстраивать собственные системы логирования и проверки, чтобы отлавливать регрессии качества.
Для компаний, уже работающих на инфраструктуре AWS, это снижает объём инженерной работы, необходимой для базового мониторинга в продакшене. Компании на других платформах или с самостоятельно размещёнными стеками агентов не получат именно этот инструмент, но релиз сигнализирует, что оценка во время выполнения становится ожидаемой функцией инфраструктуры для агентов, и покупателям, оценивающим платформы для агентов, стоит спрашивать у поставщиков, есть ли у них эквивалентный мониторинг.
В исходном материале не подтверждены детали ценообразования или сроки общедоступности за пределами объявления в блоге; командам, заинтересованным во внедрении, следует проверить актуальную документацию AWS о статусе развёртывания и стоимости, прежде чем строить на этом планы.