Команда IBM Granite объявила о выходе Granite Switch 4.1 в посте на Hugging Face от 15 октября 2026 года. В линейку добавились две модели: Granite-Switch-4.1-8B и Granite-Switch-4.1-30B. Каждая переключается между ответами на естественном языке, задачами принятия решений и преобразованием речи в текст, и всё это обслуживается с одного хостируемого эндпоинта.
Что внутри
Проект Granite Switch, представленный прошлой весной, собирает модель из базовой модели и небольших дополнительных адаптеров. В версии 4.1 к базе добавлены три компонента:
- адаптер Decision для решений общего назначения;
- адаптер Guardian для решений, связанных с безопасностью. По словам IBM, в среднем он превосходит ряд других моделей принятия решений на таких задачах;
- Granite-Speech-5.0-Turbo-CTC, которую IBM называет самой быстрой моделью распознавания речи в рейтинге OpenASR.
Всё это собрано в одну модель, которая, по данным IBM, занимает примерно столько же видеопамяти GPU, сколько сама базовая модель. Адаптеры сделаны как Activated LoRA, поэтому KV-кэш, полученный при генерации базовой моделью, можно использовать повторно в последующих решениях адаптеров. Кроме того, IBM сообщает, что внесла в vLLM изменения, ускоряющие инференс адаптеров низкого ранга.
Демо и сравнение
IBM ссылается на демо-пространство на Hugging Face: в нём granite-switch-4.1-8b расшифровывает аудио, пишет краткие пересказы, проверяет на вредный контент и проверяет ещё 15 пользовательских флагов - всё на одном эндпоинте в реальном времени. В отдельном сравнении IBM утверждает, что Granite-Switch-4.1-30B с четырьмя специализированными адаптерами быстрее прошла реальный пятишаговый RAG-сценарий, чем конкурирующая конфигурация на модели 27B с одним универсальным адаптером решений. Это собственные результаты IBM. В посте сказано, что подробности и данные появятся в ближайшие недели.
Собрать своё
Две выпущенные модели идут с заранее выбранным набором адаптеров, но, как говорит IBM, любой может собрать собственную модель Granite Switch из адаптеров в Granite Libraries. По мнению компании, специализированные адаптеры могут обгонять универсальные модели принятия решений на узких задачах классификации, а их добавление обходится дёшево, потому что они используют общий кэш базовой модели. IBM планирует выпустить Adapter SDK для обучения адаптеров в Mellea с обучающими материалами, но дату не называет.
Для проверки на прочность IBM собрала собственную модель Granite Switch на 3B, которая играет в Doom. По данным компании, она принимает от 60 до 100 решений в секунду, тогда как у конкурирующей системы заявлено 10 в секунду, а ещё модель может комментировать происходящее и отвечать на вопросы во время игры.
Чего в источнике нет
В посте нет цен, планов хостинга и условий лицензии. Читателям предлагается заглянуть в карточки моделей, репозиторий на GitHub и ноутбук Colab со сравнением aLoRA и LoRA.