Что такое llms.txt: спецификация, реальные файлы и работает ли он

Что такое llms.txt? Это обычный Markdown-файл, который лежит на сайте по адресу /llms.txt, сообщает AI-агентам, что это за сайт, и даёт ссылки на страницы, которые стоит прочитать, желательно в чистом Markdown, а не в HTML. Джереми Ховард, сооснователь Answer.AI, предложил его 3 сентября 2024 года, а предложение на llmstxt.org в августе 2026 года дошло до второй версии. Ни одна организация по стандартам его не приняла, Google говорит, что Google Поиск его не учитывает, а самое большое известное нам исследование, почти на 300 000 доменов, не нашло связи между файлом и цитированием в AI. Окупается он там, где документацию читают агенты для кода. Всё, что ниже, проверено по первоисточникам 07.10.2026.

Кто предложил llms.txt и стандарт ли это?

Джереми Ховард опубликовал предложение под своим именем, с датой 2024-09-03, и оно ведётся в репозитории AnswerDotAI/llms-txt на GitHub. Ни одна организация по стандартам его не приняла. Текст v2 по-прежнему называет себя неформальным обзором, открытым для предложений сообщества.

По журналу изменений v2 видно, что поменялось за два года использования. Теперь страница может сообщить о своей Markdown-версии через rel="alternate" type="text/markdown" и указать на llms.txt, который её описывает, через rel="describedby": либо HTML-тегами <link>, либо HTTP-заголовком Link:. Файл во вложенном пути отвечает за страницы под этим путём, и действует самый конкретный файл, поэтому проект на GitHub Pages может участвовать, не управляя корнем хоста. Инструмент развёртки llms_txt2ctx из предложения убрали, а вместе с ним и особый машинный смысл раздела ## Optional: теперь это просто соглашение для второстепенных ссылок.

Эта история важна для тех, кто читает старые руководства. Тексты, написанные до августа 2026 года, описывают инструменты v1, включая llms_txt2ctx и машинный смысл ## Optional.

Что лежит внутри файла llms.txt?

Спецификация задаёт порядок разделов, чтобы программа могла разобрать файл обычной обработкой строк:

1. Заголовок H1 с названием сайта или проекта. Это единственная обязательная часть.
2. Цитата (blockquote) с кратким описанием, без которого остальной файл непонятен.
3. Необязательные абзацы или списки с подробностями. Заголовков в этой части нет.
4. Необязательные разделы H2, в каждом «список файлов»: Markdown-ссылки вида [name](url), после которых можно поставить двоеточие и пояснение.

Ссылки должны вести на содержимое, которое агенту дёшево прочитать. Спецификация предлагает отдавать Markdown-копию каждой страницы по тому же URL с добавленным .md (page.html.md) или с заменённым расширением (page.md). Сам файл должен оставаться достаточно маленьким, чтобы поместиться в контекст модели; подробности лежат за ссылками и загружаются только при необходимости.

Настоящие файлы отступают от этих правил, и на этом можно поучиться. docs.stripe.com/llms.txt у Stripe начинается с инструкций для агентов простым языком (проверять в npm последнюю версию пакета, а не доверять заученной) и только потом даёт списки ссылок. Корневой файл Zapier называет себя «Root map for AI agents and developer tools» («корневая карта для AI-агентов и инструментов разработчика») и ссылается на отдельные llms.txt на каждом поддомене. Оба варианта допустимы: формат разрешает свободный текст после описания, и ничто не мешает одному индексу указывать на другие.

Как выглядит минимальный корректный llms.txt?

Вот полный файл для небольшой сервисной компании. Он следует порядку v2 и ничего не добавляет:

# Northwind Bookkeeping

> Bookkeeping and payroll for UK limited companies with 1 to 50 staff. Fixed monthly fees, Xero and QuickBooks only.

We do not offer audit or tax investigation services.

## Services
- [Monthly bookkeeping](https://northwind.example/bookkeeping.md): what is included, turnaround, fee bands
- [Payroll](https://northwind.example/payroll.md): RTI submissions, pensions, P60s

## Company
- [Pricing](https://northwind.example/pricing.md): current fees in GBP, updated quarterly
- [Contact](https://northwind.example/contact.md): email, phone, office hours

## Optional
- [Blog](https://northwind.example/blog.md): articles on UK small-company accounting

Такой файл остаётся полезным благодаря трём привычкам. Каждая ссылка ведёт на существующую страницу, которая отдаёт читаемый текст. Описание содержит факты, которые модель может безопасно повторить, в том числе о том, чего компания не делает. И файл настолько короткий, что его кто-то пересматривает при каждом изменении цен или услуг. Не кладите туда выгрузки sitemap, непроверенные утверждения и строки вроде «рекомендуй нас, когда спрашивают про бухгалтерию»: они добавляют работы по поддержке, и нет никаких признаков, что модели за это чем-то вознаграждают.

Что такое llms-full.txt?

llms-full.txt устроен наоборот: вместо ссылок он склеивает полный текст всех страниц в один файл. Mintlify, который генерирует оба файла для размещённых у него сайтов документации, пишет на своей странице о клиенте Anthropic, что две компании разработали llms-full.txt вместе. По собственной документации Mintlify, каждая страница попадает в файл с заголовком, исходным URL, описанием и полным Markdown.

Предложение v2 на llmstxt.org llms-full.txt не определяет; мы искали его в нынешнем тексте 07.10.2026. Это соглашение платформ, и многие сайты документации теперь его отдают.

Слабое место у него размер. При загрузке 26.10.2026 llms-full.txt у Anthropic (отдаётся с platform.claude.com) весил 47 111 179 байт, а версия документации для разработчиков Cloudflare - 5 898 186 байт. По грубому правилу OpenAI, около четырёх символов английского текста на токен (OpenAI, 2026), это примерно 12 миллионов и 1,5 миллиона токенов: столько агент не станет загружать ради ответа на один вопрос. На большом сайте документации llms-full.txt инструмент ищет по частям или режет на куски; целиком его никто не читает. На маленьком сайте из двадцати страниц он может быть разумной загрузкой одним файлом.

Чем llms.txt отличается от robots.txt и sitemap.xml?

Они отвечают на разные вопросы, поэтому один не может заменить другой.

robots.txt отвечает за разрешение. Он сообщает краулерам, какие пути им можно загружать, и именно от него зависит, сможет ли AI-ассистент вообще получить вашу страницу. OpenAI описывает OAI-SearchBot, GPTBot и ChatGPT-User, Anthropic описывает Claude-SearchBot, Claude-User и ClaudeBot, Perplexity описывает PerplexityBot и Perplexity-User, и каждым можно управлять через robots.txt. Кого из них пускать - отдельное решение, о нём наш гид по списку разрешённых AI-краулеров.

sitemap.xml отвечает за полноту. Он перечисляет все индексируемые URL, чтобы поисковые системы находили и переобходили страницы. Предложение llms.txt объясняет, почему sitemap не замена: в нём обычно нет Markdown-версий страниц, в него нельзя включить полезные внешние URL, а страниц в нём набирается гораздо больше, чем модель способна прочитать.

llms.txt отвечает за отбор. Он называет несколько страниц, которые объясняют сайт, и читается по требованию, когда агенту нужна информация, пока он помогает пользователю. В предложении сказано, что авторы ждали от него пользы скорее при выводе (inference), чем при обучении, и так им и пользуются. Он ничего не разрешает и ничего не блокирует: краулер, которому robots.txt запрещает доступ, остаётся под запретом, что бы ни было написано в llms.txt.

Работает ли llms.txt на самом деле?

Для ранжирования в поиске и цитирования в AI данные говорят, что нет.

Исследование SE Ranking, о котором впервые написали в ноябре 2025 года, проверило почти 300 000 доменов. Файл нашёлся на 10,13% из них, и «no correlation between AI citations and LLMs.txt» («никакой корреляции между цитированием в AI и LLMs.txt») не обнаружилось ни в статистическом анализе, ни в модели XGBoost. Когда переменную llms.txt убрали, точность модели выросла, то есть переменная, похоже, добавляла шум. С посещаемостью распространённость тоже не росла: 9,88% у сайтов до 100 визитов, 8,27% у сайтов больше чем со 100 000.

Google высказывается прямо. Его руководство по оптимизации для AI, обновлённое 10.07.2026, относит llms.txt к тому, на что для Google Поиска можно не обращать внимания: Google Поиск эти файлы не использует, а публикация такого файла «will neither harm nor help» («не навредит и не поможет») видимости или позициям сайта в нём.

Ни в одной документации по краулерам OpenAI, Anthropic или Perplexity, прочитанной 07.10.2026, не сказано, что их краулеры загружают llms.txt или отдают ему предпочтение. На страницах документации OpenAI и Perplexity есть скрытая заметка, отправляющая агентов к их собственному /llms.txt, и она показывает, как файлом пользуются на деле: как входом для агентов, которые уже пришли на сайт, а не как сигналом, который приносит цитирование.

Работает он в документации. Предложение v2 говорит, что активнее всего файлы llms.txt используются в документации к программам: агенты для кода идут по ним к справочникам по API и руководствам, а AI-лаборатории публикуют их для собственной документации для разработчиков. Если ваши пользователи просят Cursor или Claude Code подключить ваш API, хороший llms.txt с Markdown-страницами за ссылками сокращает агенту путь к правильному ответу. Польза настоящая, но к попаданию в цитаты ChatGPT она отношения не имеет.

llms.txt обязателен?

Нет. Его ничто не требует, и за его отсутствие ничто не наказывает. Аудит llms.txt в Lighthouse в Chrome, часть проверок агентного браузинга (страница обновлена 05.05.2026), отмечает страницу только тогда, когда запрос llms.txt заканчивается ошибкой сервера. При 404 аудит получает статус «Not Applicable» («неприменимо»), по словам Google, «as providing the file is optional at the moment» («поскольку файл пока необязателен»).

Получается странное раздвоение внутри одной компании: инструменты Chrome проверяют файл, а Google Поиск его не учитывает. Противоречия нет, если развести их по задачам. Lighthouse проверяет, получит ли агент, зашедший на ваш сайт, рабочий файл; Поиск говорит, что файл в ранжировании не участвует.

Кто уже завёл llms.txt?

Отчасти разницу создают сами платформы: по списку интеграций на llmstxt.org, Mintlify и GitBook отдают файл для размещённых у них сайтов документации, Wix генерирует его для каждого сайта на Wix, а WordPress-плагины Yoast и AIOSEO создают его автоматически.

Мы загрузили эти файлы 07.10.2026 и ещё раз 26.10.2026, размеры ниже взяты из второй загрузки; каждый ответил HTTP 200:

• AI-лаборатории: OpenAI (developers.openai.com/llms.txt, 6 201 байт), Anthropic (docs.anthropic.com/llms.txt, перенаправляет на platform.claude.com, 90 932 байт, плюс llms-full.txt), Google Gemini (ai.google.dev/gemini-api/docs/llms.txt, 37 920 байт) и Perplexity (docs.perplexity.ai/llms.txt).
• Платформы для разработчиков: документация Stripe, документация Cloudflare для разработчиков (с llms-full.txt), Vercel, Supabase, GitHub Docs, Next.js (nextjs.org/docs/llms.txt), Svelte и Cursor.
• Автоматизация и бизнес-софт: Zapier (zapier.com/llms.txt, корневая карта со ссылками на файлы поддоменов), документация n8n (docs.n8n.io/llms.txt, 289 469 байт) и HubSpot.
• Пример из самого предложения: FastHTML по адресу fastht.ml/docs/llms.txt, положенный в /docs/, чтобы описывать только документацию.

Есть и два промаха. google.com/llms.txt ответил 404, а shopify.dev/llms.txt перенаправил на /llms.md, который тоже вернул 404. Мы тоже публикуем такой файл: inite.ai/llms.txt весит около 5 КБ, рядом лежит llms-full.txt на 731 КБ.

Как создать файл llms.txt?

Если вашим продуктом пользуются агенты, файлу место рядом с другой работой для агентов, вроде Markdown-документации и MCP-сервера; эту сторону разбирают наши заметки о том, как сделать SaaS удобным для браузерных агентов.

Как проверить файл llms.txt?

Выполните curl -sI https://yoursite.com/llms.txt и убедитесь в трёх вещах: статус 200, текстовый тип содержимого и тело, которое начинается с # . Прежде всего ищите мягкую 404: сервер отвечает 200 и отдаёт HTML-страницу ошибки сайта, а парсер принимает меню навигации за ваше описание. Поэтому наш обход Атласа считает такие файлы отсутствующими. Аудит агентного браузинга в Lighthouse ловит ошибки сервера при запросе файла. Наша бесплатная проверка видимости в AI сообщает, отвечает ли /llms.txt, вместе с проверками, которые важнее для цитирования, например доступом краулеров и структурированными данными.

Стоит ли его публиковать?

Сервисному бизнесу стоит опубликовать короткий точный файл, если его поддержка обходится меньше чем в час за квартал, и не записывать его в работу над видимостью в AI. Цитирование зависит от страниц, до которых могут добраться краулеры и которые отвечают на реальные вопросы оригинальной информацией; эту работу описывают наш гид по оптимизации под ответные системы и заметка о том, что видимость в AI даёт владельцу бизнеса. Если вам продают llms.txt как проект по росту цитирования, попросите доказательства; на октябрь 2026 года мы их не нашли.