A Cloudflare adicionou uma API de Busca Web nativa ao seu AI Gateway, construída em parceria com os provedores de busca Ceramic.ai, Exa e Linkup. O recurso permite que desenvolvedores tragam resultados da web ao vivo para a janela de contexto de um modelo durante a inferência, resolvendo a lacuna onde modelos ficam congelados em uma data de corte de treinamento e não conseguem falar sobre eventos recentes ou documentação em mudança.
Três caminhos de acesso estão disponíveis: diretamente pelo AI Gateway, via um endpoint REST padrão (passando um token de autenticação do AI Gateway e um nome de provedor no payload da requisição), ou através de um binding do Workers que, segundo a Cloudflare, exige apenas uma linha de código para ser chamado. As requisições aparecem nos mesmos logs de observabilidade do AI Gateway junto com as chamadas de inferência de modelo, e o uso é descontado do saldo de créditos já existente do AI Gateway. A Cloudflare afirma que está oferecendo a busca pelo preço de tabela das APIs dos parceiros, sem markup adicional, e suporta configurações Bring-Your-Own-Key para organizações que já têm contas com os provedores. A empresa também diz que vai sinalizar quais parceiros suportam Zero Data Retention, para que os usuários saibam que suas consultas não estão sendo armazenadas.
O rastreamento por trás dos resultados de busca está vinculado à política de bots da Cloudflare: os crawlers dos parceiros precisam atender aos requisitos publicados de "Verified bots" da Cloudflare, e toda resposta de busca web precisa linkar de volta para a fonte do conteúdo rastreado.
A Cloudflare também adiantou as futuras "Server Tools" embutidas diretamente no AI Gateway, que eliminariam a necessidade de desenvolvedores definirem a lógica de tool-calling por conta própria; a busca web está prevista para ser uma das primeiras ferramentas incluídas. Até lá, a Cloudflare publicou um exemplo de código em Workers mostrando como conectar a busca web manualmente a um loop de tool-calling.