A AWS lançou o cache de prompts para o Amazon Bedrock, seu serviço gerenciado para construir aplicações de IA generativa sobre modelos de base como o Claude, da Anthropic, e os modelos Titan/Nova, da própria Amazon.
O cache de prompts permite que uma aplicação marque partes de um prompt — como uma instrução de sistema, um documento longo usado como contexto, ou um conjunto de definições de ferramentas — como reutilizáveis. Em chamadas subsequentes que repetem o mesmo trecho já armazenado em cache, o Bedrock pula o reprocessamento desse conteúdo e o serve a partir do cache, em vez de rodá-lo novamente por todo o pipeline de inferência do modelo.
A AWS afirma que isso pode reduzir o custo de tokens de entrada em até 90% e a latência em até 85% para os modelos suportados, dependendo de quanto do prompt é passível de cache e da frequência com que ele se repete entre chamadas. O recurso é voltado justamente para aplicações com um contexto grande e estático, reutilizado em muitas requisições — um padrão comum em sistemas de geração aumentada por recuperação (RAG), bots de suporte ao cliente que consultam uma base de conhecimento fixa, e assistentes de código que reutilizam prompts de sistema extensos.
Os detalhes técnicos importam para quem opera cargas de trabalho de IA em produção: o cache é aplicado por modelo e normalmente exige que o prefixo em cache permaneça byte a byte idêntico entre as chamadas, o que significa que os times precisam estruturar os prompts de forma que o conteúdo estático (instruções, documentos de referência) venha primeiro, e o conteúdo variável (a consulta real do usuário) venha por último. O post da AWS detalha padrões de implementação e as compensações entre custo e latência para diferentes perfis de tráfego.
Não se trata de um novo modelo nem de uma nova capacidade no sentido do que a IA consegue fazer — é uma otimização de custo e desempenho para aplicações já existentes baseadas no Bedrock. Times que já rodam automação de suporte, ferramentas de capacitação de vendas ou copilotos internos no Bedrock podem aplicar isso sem reformular a escolha do modelo, embora a estrutura dos prompts possa precisar de ajustes para maximizar a parte que entra em cache.
Para empresas avaliando se devem construir no Bedrock ou em alternativas como a API da OpenAI ou o Azure AI, isso reduz parte da diferença de custo que os recursos de cache de concorrentes já ofereciam, e é um dado relevante em comparações de fornecedores para decisões de infraestrutura tomadas este ano.