Hugging Face опубликовала набор адаптеров под агентные оболочки для Qwen3.8-27B. Это небольшие LoRA-слои, обученные с подкреплением внутри той оболочки агента, в которой модель и будет работать. Команда обучила по одному адаптеру на оболочку (pi, Hermes Agent и OpenCode), а затем слила три в один суперадаптер. Адаптеры, файлы GGUF, RL-задачи и плагин safeagents собраны на Hub.
Что делают адаптеры
Базовые веса остаются замороженными. Адаптер меняет поведение модели в конкретной оболочке: она меньше рассуждает, реже вызывает инструменты и чаще решает задачу с первой попытки. Главный пример - pi на Terminal-Bench 2.1. Базовая модель даёт 39% pass@1 и тратит около 2,9 тыс. токенов на задачу. С адаптером результат - 55% при примерно 1,5 тыс. токенов.
Как шло обучение
Использовали AsyncGRPOTrainer из TRL, OpenEnv и Harbor, а прогоны выполнялись в Hugging Face Jobs. Оболочки работали в том виде, в каком их поставляют, и тренер учился на токенах, которые они реально выдавали. Набор задач отфильтровали из 1127 кандидатов на Hub, 858 из них прошли проверку. В опубликованном датасете 871 задача из 35 репозиториев, и 171 из них «квалифицированные»: базовая модель решает их лишь иногда. Три обучающих прогона заняли в сумме 598 шагов. Инструмент safeagents проверил около 1,3 млн вызовов инструментов и заблокировал 647.
Результаты суперадаптера
Три адаптера слили с весом по половине на каждый. При выключенном режиме рассуждений средний pass@1 по шести парам «оболочка - бенчмарк» вырос с 39,5% до 49,0%. На задачах, которые решили обе модели, объединённый адаптер делал на 53-73% меньше вызовов инструментов и генерировал на 44-60% меньше токенов. При включённых рассуждениях он обошёл базовую модель при том же уровне усилий в пяти парах из шести, в шестой результат равный. На SWE-bench Pro число вызовов инструментов снизилось на 31-48%, а на Terminal-Bench - на 19-25% при почти неизменном числе токенов.
Оговорки источника
- При выключенных рассуждениях собственный адаптер оболочки опередил остальные в четырёх парах из шести, поэтому команде, работающей с одной оболочкой, стоит брать именно его.
- Результаты разных оболочек сравнивать нельзя: настройки по умолчанию различаются, например в том, как сохраняются прежние шаги рассуждений.
- Вес слияния подбирали на Terminal-Bench 2.1, так что эти цифры немного завышены.
- Оценка шла с одной попыткой на задачу: все 89 задач Terminal-Bench 2.1 и 51 самая сложная задача SWE-bench Pro.
- Доступный нам текст источника обрывается на середине раздела об оценке.