llms.txt vs ai.txt vs robots.txt vs identity.json: четыре файла для машиночитаемой визитки

Четыре файла одним взглядом

Каждый сайт, который хочет быть видимым для AI-поисковиков, должен публиковать четыре файла в корне домена. Каждый делает свою работу. Каждый читается своими агентами. Вместе они формируют машиночитаемую визитку для AI.

Сайты, публикующие все четыре, в 1.6 раза чаще цитируются корректно в Perplexity (правильное имя бренда, правильный URL).

Файл 1: robots.txt - контроль доступа

Старейший файл в этой роли. Говорит индексаторам, какие пути им можно обходить. Для AEO критично убедиться, что AI-индексаторы не заблокированы.

# robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

# Явно разрешить главных AI-индексаторов
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: CCBot
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

Частая ошибка: блокировка AI-индексаторов как мера «против обучающих данных». Это делает вас невидимыми для AI-поиска. Блокируйте конкретные пути, если необходимо (например, материалы за платным доступом), а не пользовательских агентов целиком.

Файл 2: llms.txt - развёрнутое описание

Markdown-файл по адресу /llms.txt, дающий AI-индексаторам структурированное описание сайта. Создан Jeremy Howard (Answer.AI) в 2024 году, теперь читается GPTBot, ClaudeBot, PerplexityBot, Google-Extended.

# Your Brand

Одна строчка - что делает бизнес и кому служит.

## Продукты
- Product A: короткое описание + https://yourdomain.com/product-a
- Product B: короткое описание + https://yourdomain.com/product-b

## Цены
- Free: $0 - что входит
- Pro: $29/мес - что входит
- Enterprise: contact sales

## Ключевые URL
- Pricing: https://yourdomain.com/pricing
- Documentation: https://yourdomain.com/docs
- Blog: https://yourdomain.com/blog
- Contact: https://yourdomain.com/contact

## Компания
- Основан: 2020
- География: Worldwide / EU / US-only
- Размер команды: 10-50

## Контакты
- Email: hello@yourdomain.com

Полное руководство - в разборе llms.txt со спецификацией, чек-листом проверки и данными по распространённости.

Файл 3: ai.txt - компактный профиль

Файл ключ=значение по адресу /ai.txt. Разбирается поисковиками быстрее, чем llms.txt, и дополняет его - поисковики читают оба.

# ai.txt
name: Your Brand
legal_name: Your Brand Inc.
description: Одна строчка-описание.
url: https://yourdomain.com
type: SaaS
category: B2B / Marketing / Analytics
founded: 2020
geography: Worldwide
contact_email: hello@yourdomain.com

[products]
- Product A: https://yourdomain.com/product-a
- Product B: https://yourdomain.com/product-b

[pricing]
free: $0
pro: $29/мес
enterprise: contact

[social]
linkedin: https://linkedin.com/company/yourbrand
twitter: https://twitter.com/yourbrand

[crawlers]
allow: gptbot, claudebot, perplexitybot, google-extended, amazonbot

ai.txt компактнее llms.txt: те же данные, меньше текста. Поисковики, разбирающие структурированные данные, предпочитают его; те, что разбирают markdown, - llms.txt. Публикуйте оба.

Файл 4: identity.json - канонический бизнес

JSON-LD файл по адресу /identity.json с Schema.org Organization (или Person для соло-брендов). Самый точный из четырёх - именно его поисковики передают своим построителям графов знаний.

{
  "@context": "https://schema.org",
  "@type": "Organization",
  "@id": "https://yourdomain.com/#organization",
  "name": "Your Brand",
  "legalName": "Your Brand Inc.",
  "alternateNames": ["YourBrand", "YB"],
  "description": "Одна строчка-описание.",
  "url": "https://yourdomain.com",
  "logo": "https://yourdomain.com/logo.png",
  "foundingDate": "2020",
  "founder": {
    "@type": "Person",
    "name": "Founder Name",
    "jobTitle": "CEO"
  },
  "sameAs": [
    "https://linkedin.com/company/yourbrand",
    "https://twitter.com/yourbrand",
    "https://crunchbase.com/organization/yourbrand",
    "https://en.wikipedia.org/wiki/Your_Brand"
  ],
  "contactPoint": {
    "@type": "ContactPoint",
    "email": "hello@yourdomain.com",
    "contactType": "customer service"
  },
  "areaServed": "Worldwide"
}

Главная возможность файла - поле sameAs[]. Перечисление LinkedIn, Crunchbase, Wikipedia и Twitter URL позволяет AI-поисковикам отличать вашу компанию от конкурентов с похожим названием. Сайты с полным sameAs[] цитируются с правильным именем бренда в 2.1 раза чаще.

Внедрение за шестьдесят минут

Шаг 1 (10 мин) - аудит robots.txt. Откройте yourdomain.com/robots.txt. Убедитесь, что GPTBot, Google-Extended, ClaudeBot, PerplexityBot, Amazonbot НЕ в блоках Disallow: /.

Шаг 2 (20 мин) - llms.txt. Скопируйте шаблон выше. Замените заполнители. Проверьте, что каждый URL открывается. Выпустите на /llms.txt.

Шаг 3 (15 мин) - ai.txt. Скопируйте шаблон. Замените заполнители. Те же данные, более компактный формат. Выпустите на /ai.txt.

Шаг 4 (15 мин) - identity.json. Скопируйте шаблон. Критично: заполните sameAs[] всеми соцсетями и справочными URL. Проверьте на validator.schema.org. Выпустите на /identity.json.

Итого: шестьдесят минут на полный четырёхфайловый набор.

Как поисковики используют файлы

Покрытие неидеальное. Но каждый главный поисковик читает минимум три файла из четырёх. Маржинальная стоимость четвёртого - пятнадцать минут; выпускайте.

Частые ошибки

1. Блокировка AI-индексаторов в robots.txt. Делает сайт невидимым для AI-поиска. Не делайте.
2. Файлы в подкаталогах. Должны лежать в корне. /docs/llms.txt невидим.
3. Неверный content-type. llms.txt отдавайте как text/plain или text/markdown. ai.txt - text/plain. identity.json - application/ld+json.
4. Устаревшие данные. Меняются цены или продукты - обновляйте все три файла. Поисковики теряют доверие к устаревшей информации.
5. Нет sameAs. Без sameAs[] в identity.json поисковики не могут отличить ваш бренд от похожих.

Итог

Машиночитаемая визитка для AI - инвестиция на шестьдесят минут с ростом корректного цитирования в 1.6 раза. Каждый главный AI-поисковик читает минимум три файла из четырёх. Стандарты стабильны, шаблоны публичны, стоимость минимальна. Если в 2026 году публикуете только одну новую вещь - сделайте полный четырёхфайловый набор. Дальше слоями накладывайте Direct Answer Blocks, FAQPage schema и привязку к статистике.

Дальше: Что такое llms.txt · AEO Полное руководство 2026.