Ir para o conteúdo

IBM lança prévias do Granite 4.1 contra injeção de prompt

Resposta curta

A IBM lançou dois modelos experimentais do Granite 4.1, de 3B e 8B, treinados com o LLMON, uma marcação que etiqueta cada parte do prompt e liga cada instrução aos dados que ela deve processar. Em um benchmark, eles resistiram a instruções injetadas bem melhor que os outros modelos testados. A IBM avisa que não servem para produção.

O que isso significa na operação

Se a automação de vendas, suporte ou operações alimenta o modelo com e-mails de clientes, texto de chamados, arquivos enviados ou anotações do CRM, qualquer um desses itens pode carregar uma instrução escondida. Vale testar essas prévias em um ambiente isolado (sandbox): dá para rodá-las contra os piores casos de entrada da sua própria operação e comparar com o modelo que você usa hoje. Conte com trabalho de integração: os prompts precisam nomear suas partes (instrução, dado, requisito) para que o template consiga marcá-las. Não coloque nada voltado ao cliente nesses modelos por enquanto, porque a IBM chama o lançamento de experimental e diz que a proteção é comportamento aprendido, sem garantia.

O time do Granite, da IBM, publicou o LLMON, uma linguagem de marcação para modelos de linguagem, no blog da Hugging Face, junto com dois modelos experimentais treinados para ler e escrever nesse formato: granite-4.1-3b-LLMON-preview e granite-4.1-8b-LLMON-preview. Acompanha o lançamento um repositório no GitHub com toolkit, exemplos de fluxo de trabalho e templates.

O que o LLMON faz

O argumento da IBM é que o contexto de um modelo reúne vários tipos de material: prompts de sistema, turnos anteriores, documentos recuperados, saída de ferramentas, restrições de resposta e raciocínio. Boa parte dessa estrutura fica implícita ou é espremida em formatos como JSON, criados para parsers. A IBM relaciona isso à fragilidade de modelos menores e à exposição a injeção de prompt.

O LLMON marca cada componente com uma tag com significado. Os delimitadores são tokens especiais reservados no vocabulário, então estrutura e texto comum nunca compartilham caracteres. Cada bloco recebe um ID curto e único, e um bloco de execução no final indica qual instrução rodar, a quais dados ela se aplica, quais requisitos a limitam e para onde vai a resposta. O conteúdo fora desse bloco de execução continua visível ao modelo, mas é tratado como material sem referência.

Os modelos de prévia vêm com template de chat próprio. Você monta a lista de mensagens de sempre, nomeia as partes de cada turno (instrução, dado, requisito) e indica se cada uma deve ser executada ou não. O template gera a marcação. A IBM também oferece conversores que transformam JSON em LLMON e vice-versa, sem perdas.

A alegação de segurança

A injeção indireta de prompt esconde uma instrução maliciosa dentro de um conteúdo que o modelo precisa processar, como um documento recuperado ou a resposta de uma ferramenta. A IBM testou no benchmark OPI, que insere injeções nos dados de tarefas padrão de PLN. Segundo a empresa, os outros modelos que ela experimentou, abertos e fechados, executaram as instruções injetadas com alta probabilidade. Os modelos LLMON evitaram 47% mais ataques que o melhor modelo de fronteira testado e 95% mais que o melhor modelo de código aberto. A IBM relata tendências parecidas nos benchmarks ASB e StruQ.

Há limites. Esses benchmarks cobrem injeções estáticas, e a IBM afirma que ataques que se desenrolam ao longo de vários turnos de conversa ainda estão em desenvolvimento. A empresa também descreve a regra de privilégio (instruções do bloco de execução têm autoridade, a entrada é só material) como comportamento aprendido e não como garantia imposta.

Capacidade e treinamento

A IBM diz que o desempenho geral fica no mesmo nível dos modelos Granite 4.1 Instruct nas categorias padrão de benchmark. Os modelos partem dos checkpoints base do Granite 4.1. O treinamento reserializa um corpus comum de ajuste por instruções em LLMON e acrescenta instruções e dados falsos, deixados sem vínculo. Em seguida vem o aprendizado por reforço, em cinco etapas de GRPO, e uma etapa final de DPO com mil pares de preferência construídos a partir das respostas do próprio modelo a tentativas de injeção.

As equipes também podem definir as próprias tags e ajustar um adaptador LoRA por cima. A IBM demonstra isso no benchmark ScienceWorld e indica um segundo notebook para agentes com chamada de ferramentas. O Mellea, projeto relacionado da IBM, tem suporte nativo ao LLMON.

Situação

A IBM descreve o lançamento como uma prévia experimental para exploração e avaliação, sem uso em produção, e pede feedback nas Discussions do GitHub.

Fonte: Hugging Face · No Atlas: Hugging Face →

As ferramentas desta notícia

  • GitHub - preço, quem usa, alternativas
Próximo passo

Discovery Sprint

Se a IA já roda em algum processo seu, o passo seguinte é olhar esse processo de perto. Trinta minutos, e a gente diz se a conta tende a fechar.

Agendar a revisão

Revisão gratuita de 30 minutos. O sprint é o assunto da conversa.

Preço
R$ 12.500
Duração
1-2 semanas

Termina em uma de duas respostas: construir ou não construir. O mapa do processo, os números e o backlog priorizado ficam com você em qualquer caso.