Microsoft опубликовала на GitHub ThinkingBox-Training - продолжение своего бенчмарка ThinkingBox. Бенчмарк оценивает агента, сравнивая итоговое состояние базы данных с ожидаемым результатом. В новом релизе такая же исполняемая проверка служит сигналом награды при дообучении - на задачах, которых в бенчмарке нет.
Что измерили
Microsoft дообучила Qwen3.8-27B методом GRPO за 50 шагов и проверила модель на ThinkingBox-Bench из 507 задач, на которых обучение не проводилось. Каждую задачу запускали по 20 раз.
- Средний успех (pass@1) вырос с 51,70% до 60,78%.
- Задач, решённых во всех 20 попытках, стало 107 (21,10%) вместо 38 (7,50%).
- Задач, решённых хотя бы раз (pass@20), стало меньше: 446 (87,97%) вместо 453 (89,35%).
Microsoft трактует это как «заострение»: модель стала повторяемее, но не шире. Рост pass@1 и доли задач с успехом во всех 20 попытках проявился во всех пяти доменах бенчмарка. По pass@20 картина смешанная: сильнее всего просела автостраховка - на 7,0 пункта.
Пример: в задаче с бронированием отеля понижение категории номера требовало согласия менеджера. Базовая модель меняла бронь без согласования в 15 из 20 попыток. Дообученная сохраняла и бронь, и состояние платежа во всех 20.
Цена надёжного решения
По той же оценочной методике, что и в первом посте, Microsoft считает стоимость задачи, решённой в каждой попытке: $8,00 у дообученной модели против $24,36 у базовой. Для сравнения приведены GPT-5.4 - $6,80, GPT-6 Astra - $7,45 и Claude Opus 5.5 - $7,80. Это сравнительный индекс стоимости обслуживания, а не счета облачного провайдера; затраты на сам запуск обучения и на пробные прогоны для отбора задач в него не входят.
Как устроено обучение
Большинство наград - детерминированные проверки итогового состояния базы данных: награда равна 1 или 0, а путь агента не важен. Для узких требований меньшая часть наград опирается на LLM-судью, который отвечает на бинарный вопрос рубрики. Обучающие задачи отфильтровали заранее: каждого кандидата прогнали на базовой модели и убрали те, что она решала всегда или не решала никогда, поскольку GRPO учится только на группах со смешанными исходами. В итоговом пуле осталось 187 задач.
Ограничения
Бенчмарк и обучающий пул построены на одном фреймворке ThinkingBox, с тем же имитатором пользователя и стилем оценки. По словам Microsoft, это ограничивает вывод о переносе навыка. Пул из 187 задач закрытый; в репозитории лежит публичный список-образец, который лишь показывает работу интерфейса. Эталонный запуск шёл на 24 GPU H100 на трёх узлах, под Linux с Python 3.12 и Verl 0.9.0.
Полезна и сама часть про бенчмарк. Claude Opus 5.5 набрал по pass@1 на 0,66 пункта больше, чем Claude Opus 5, но решил во всех 20 попытках те же 241 задачу. Более высокий итоговый балл не означал более надёжного поведения.