Microsoft добавила в Foundry, свою платформу для запуска ИИ-агентов, цикл непрерывного улучшения. Об этом говорится в блоге Microsoft Azure, пост вышел around Ignite. Цикл состоит из четырёх повторяющихся шагов: задать стандарт, найти проблемы, оптимизировать, проверить.
Из чего состоит цикл
Стандарт. Качество задаётся через оценки (evaluations): это автоматические тесты, которые считаются по критериям, написанным самой командой. Рубрики теперь проверяют не только качество, но и безопасность (превью). Эксперты могут размечать реальные трассы работы агента (превью), а размеченные трассы превращаются в наборы для оценки и зафиксированный эталонный «золотой» набор (оба в превью).
Поиск проблем. Insights, теперь общедоступный, группирует повторяющиеся сбои по трассам, показывает подтверждающие данные и указывает на вероятную причину. По словам Microsoft, та же видимость распространяется и на агентов, собранных вне Foundry на LangGraph, LangChain и CrewAI (общедоступно).
Оптимизация. Agent optimizer проверяет изменения в инструкциях, навыках и выборе модели на оценках команды. Он предлагает вариант-кандидат, но решение о выпуске остаётся за командой: пока изменение не применено, в продакшене ничего не меняется. Новое в превью: отправка найденной проблемы прямо в оптимизатор, оптимизация навыков, которая превращает прошлую работу и отзывы экспертов в версионируемые навыки, и оптимизация стоимости, которая ищет более дешёвые способы запуска агента, например меньшую модель. Programmed Training, тоже в превью, позволяет инженерам писать на Python рецепты обучения, которые выполняются на serverless-GPU. Managed Training - новое название управляемого дообучения.
Проверка. Foundry запускает статистические тесты, чтобы отличить реальный прирост от шума, а саму проверку можно встроить в релизный конвейер. Непрерывная оценка, которая уже доступна, берёт выборку живого трафика теми же оценщиками. Дашборды показывают качество, безопасность, задержку и расход токенов и присылают оповещения, когда показатели падают.
Цифры клиентов
Ниже - данные самой Microsoft и самих клиентов, независимо они не проверялись:
- Alaska Airlines дообучила модель классифицировать отчёты об обслуживании самолётов. Из коробки она набирала 81,2%, после дообучения - 91,1%, при этом решения по-прежнему принимают и проверяют квалифицированные сотрудники.
- Heidi сообщает о снижении стоимости одной клинической заметки примерно на 87% после дообучения модели с открытыми весами.
- Docusign заявляет, что сократила расходы на ИИ-обработку на 90% с помощью дообученных моделей.
- По собственным тестам Microsoft, маршрутизатор моделей Foundry экономит до 65% по сравнению с отправкой всех запросов во фронтирную модель.
Что ещё анонсировано
Голосовые агенты стали общедоступными. Размещённые агенты тянут больше параллельных сессий (общедоступно) и запускаются быстрее (превью). Представление Cost по агентам, моделям и инструментам находится в превью, как и Microsoft Copilot harness.
Что проверить
Несколько элементов пока в превью, так что условия и поведение могут измениться. Цикл работает, только если у вас есть люди, готовые разбирать трассы и писать рубрики: планку качества задают ваши собственные эксперты.