Cloudflare добавил нативный Web Search API в свой AI Gateway, созданный в партнёрстве с поисковыми провайдерами Ceramic.ai, Exa и Linkup. Функция позволяет разработчикам подтягивать актуальные результаты веб-поиска в контекстное окно модели во время инференса, закрывая разрыв, когда модели заморожены на дате обучения и не могут говорить о недавних событиях или меняющейся документации.
Доступны три способа подключения: напрямую через AI Gateway, через стандартный REST-эндпоинт (передавая токен аутентификации AI Gateway и имя провайдера в теле запроса), либо через Workers-биндинг, вызов которого, по словам Cloudflare, занимает одну строку кода. Запросы попадают в те же логи наблюдаемости AI Gateway, что и вызовы инференса моделей, а расход списывается с существующего кредитного баланса AI Gateway. Cloudflare сообщает, что предлагает поиск по прайс-листовым ценам партнёрских API без дополнительной наценки, и поддерживает схемы Bring-Your-Own-Key для организаций с собственными аккаунтами у провайдеров. Компания также заявляет, что будет помечать, какие партнёры поддерживают Zero Data Retention, чтобы пользователи знали, что их запросы не сохраняются.
Краулинг, стоящий за результатами поиска, привязан к политике Cloudflare в отношении ботов: партнёрские краулеры должны соответствовать опубликованным требованиям Cloudflare к «Verified bots», а каждый ответ веб-поиска обязан содержать ссылку на источник просканированного контента.
Cloudflare также анонсировал предварительный показ будущих «Server Tools», встроенных непосредственно в AI Gateway, которые избавят разработчиков от необходимости самостоятельно описывать логику вызова инструментов; веб-поиск должен стать одним из первых таких инструментов. А пока Cloudflare опубликовал пример кода для Workers, показывающий, как вручную встроить веб-поиск в цикл вызова инструментов.