O time Granite, da IBM, anunciou o Granite Switch 4.1 em um post no Hugging Face datado de 15 de outubro de 2026. O lançamento traz dois modelos: o Granite-Switch-4.1-8B e o Granite-Switch-4.1-30B. Cada um alterna entre respostas em linguagem natural, tarefas de decisão e transcrição de fala para texto, tudo servido por um único endpoint hospedado.
O que vem no pacote
O projeto Granite Switch, apresentado na primavera passada, monta um modelo a partir de um modelo base mais pequenos adaptadores complementares. Os modelos 4.1 chegam com três adições:
- Um adaptador Decision, para decisões de uso geral.
- Um adaptador Guardian, para decisões ligadas a segurança. Segundo a IBM, ele supera em média vários outros modelos de decisão nessas tarefas.
- O Granite-Speech-5.0-Turbo-CTC, que a IBM descreve como o modelo de reconhecimento de fala mais rápido do ranking OpenASR.
Tudo isso é composto em um único modelo que, de acordo com a IBM, usa aproximadamente a mesma VRAM de GPU que o modelo base sozinho. Os adaptadores são construídos como Activated LoRAs, de modo que o KV cache de uma geração do modelo base pode ser reaproveitado em decisões posteriores feitas pelos adaptadores. A IBM acrescenta que contribuiu com mudanças no vLLM para acelerar a inferência de adaptadores de baixo ranque (low-rank).
A demonstração e a comparação
A IBM aponta para um space no Hugging Face em que o granite-switch-4.1-8b transcreve áudio, escreve resumos, filtra conteúdo nocivo e testa outros 15 flags definidos pelo usuário, tudo em um único endpoint e em tempo real. Em uma comparação à parte, a IBM diz que o Granite-Switch-4.1-30B, com quatro adaptadores especializados, concluiu um fluxo de RAG real de cinco etapas mais rápido do que uma configuração concorrente com um modelo de 27B e um adaptador de decisão genérico. Esses são resultados da própria IBM. O post diz que mais detalhes e dados virão nas próximas semanas.
Monte o seu
Os dois modelos lançados vêm com um conjunto de adaptadores pré-selecionado, mas a IBM afirma que qualquer pessoa pode montar o seu próprio modelo Granite Switch a partir dos adaptadores das suas Granite Libraries. A empresa argumenta que adaptadores especializados podem superar modelos de decisão generalistas em tarefas de classificação restritas, e que incluí-los sai barato porque eles compartilham o cache do modelo base. A IBM planeja um Adapter SDK para treinar adaptadores no Mellea, com tutoriais, mas não informa data.
Como teste de estresse, a IBM construiu um Granite Switch de 3B sob medida que joga Doom. Ela informa de 60 a 100 decisões por segundo, contra 10 por segundo reportadas por um sistema concorrente, e diz que o modelo consegue narrar e responder a perguntas enquanto joga.
O que não consta
O post não traz preço, planos de hospedagem nem termos de licença. Ele remete os leitores aos model cards, a um repositório no GitHub e a um notebook no Colab que compara aLoRA e LoRA.