Перейти к содержимому

Microsoft добавила в Foundry цикл тестов для агентов

Короткий ответ

Microsoft на Ignite представила для Foundry непрерывное улучшение агентов. Команда задаёт критерии качества, разбирает трассы работы агента, группирует повторяющиеся сбои и проверяет варианты правок до релиза. Insights доступен всем, оптимизация навыков и стоимости - в превью. В продакшен ничего не попадает без решения человека, результаты проверяются статистически.

Что это значит для операций

Если у вас в поддержке или операциях работают агенты, полезна здесь не сама модель, а цикл вокруг неё. Эксперт отмечает, какие реальные диалоги прошли хорошо, эти отметки становятся тестовым набором, и любое изменение промпта, навыка или модели обязано его превзойти до релиза. Для команды на 10-200 человек это способ менять агентов, ничего не ломая, плюс контрольная точка перед релизом в GitHub Actions или Azure DevOps. Большая часть функций оптимизации пока в превью, поэтому сначала запустите их на одном агенте с понятной метрикой, например точностью классификации тикетов, и только потом на них полагайтесь.

Microsoft добавила в Foundry, свою платформу для запуска ИИ-агентов, цикл непрерывного улучшения. Об этом говорится в блоге Microsoft Azure, пост вышел around Ignite. Цикл состоит из четырёх повторяющихся шагов: задать стандарт, найти проблемы, оптимизировать, проверить.

Из чего состоит цикл

Стандарт. Качество задаётся через оценки (evaluations): это автоматические тесты, которые считаются по критериям, написанным самой командой. Рубрики теперь проверяют не только качество, но и безопасность (превью). Эксперты могут размечать реальные трассы работы агента (превью), а размеченные трассы превращаются в наборы для оценки и зафиксированный эталонный «золотой» набор (оба в превью).

Поиск проблем. Insights, теперь общедоступный, группирует повторяющиеся сбои по трассам, показывает подтверждающие данные и указывает на вероятную причину. По словам Microsoft, та же видимость распространяется и на агентов, собранных вне Foundry на LangGraph, LangChain и CrewAI (общедоступно).

Оптимизация. Agent optimizer проверяет изменения в инструкциях, навыках и выборе модели на оценках команды. Он предлагает вариант-кандидат, но решение о выпуске остаётся за командой: пока изменение не применено, в продакшене ничего не меняется. Новое в превью: отправка найденной проблемы прямо в оптимизатор, оптимизация навыков, которая превращает прошлую работу и отзывы экспертов в версионируемые навыки, и оптимизация стоимости, которая ищет более дешёвые способы запуска агента, например меньшую модель. Programmed Training, тоже в превью, позволяет инженерам писать на Python рецепты обучения, которые выполняются на serverless-GPU. Managed Training - новое название управляемого дообучения.

Проверка. Foundry запускает статистические тесты, чтобы отличить реальный прирост от шума, а саму проверку можно встроить в релизный конвейер. Непрерывная оценка, которая уже доступна, берёт выборку живого трафика теми же оценщиками. Дашборды показывают качество, безопасность, задержку и расход токенов и присылают оповещения, когда показатели падают.

Цифры клиентов

Ниже - данные самой Microsoft и самих клиентов, независимо они не проверялись:

  • Alaska Airlines дообучила модель классифицировать отчёты об обслуживании самолётов. Из коробки она набирала 81,2%, после дообучения - 91,1%, при этом решения по-прежнему принимают и проверяют квалифицированные сотрудники.
  • Heidi сообщает о снижении стоимости одной клинической заметки примерно на 87% после дообучения модели с открытыми весами.
  • Docusign заявляет, что сократила расходы на ИИ-обработку на 90% с помощью дообученных моделей.
  • По собственным тестам Microsoft, маршрутизатор моделей Foundry экономит до 65% по сравнению с отправкой всех запросов во фронтирную модель.

Что ещё анонсировано

Голосовые агенты стали общедоступными. Размещённые агенты тянут больше параллельных сессий (общедоступно) и запускаются быстрее (превью). Представление Cost по агентам, моделям и инструментам находится в превью, как и Microsoft Copilot harness.

Что проверить

Несколько элементов пока в превью, так что условия и поведение могут измениться. Цикл работает, только если у вас есть люди, готовые разбирать трассы и писать рубрики: планку качества задают ваши собственные эксперты.

Источник: Azure Blog · В Атласе: Microsoft →

Инструменты из этой новости

  • GitHub - цена, кто пользуется, альтернативы
  • Docusign - цена, кто пользуется, альтернативы
  • Microsoft Copilot - цена, кто пользуется, альтернативы
  • LangChain - цена, кто пользуется, альтернативы
Следующий шаг

Visibility Analyzer

Новость об ИИ не скажет, как ассистенты видят ваш сайт. Это проверяет Visibility Analyzer на живом сайте: в каких ответах вас цитируют, до каких страниц ассистенты не добираются и что чинить первым. Запуск бесплатный.

Запустить бесплатный аудит видимости

Запуск бесплатный, карта не нужна.

Стоимость
Бесплатно
Срок
Один прогон, минуты

Бесплатный тариф: два анализа в день, без карты.

Ещё по теме