Google заявил, что намерен поддержать общий механизм управления обучением ИИ в robots.txt. Об этом говорится в публикации Google Search Central, которую написал John Mueller, дата - 30 октября 2026 года. Механизм опирается на работу группы AIPREF в IETF.
Что планируется
Сейчас сайту, который хочет заявить о своих предпочтениях по обучению ИИ, приходится обращаться к каждому разработчику отдельно. Новый подход добавляет в robots.txt общий токен политики. С его помощью сайт задаёт широкое предпочтение, которое читают участвующие провайдеры ИИ.
Для своего случая Google описывает механику так. Если сайт через токен отказался от обучения и при этом не указал Google-Extended явно, Google собирается прочитать это как запрет для Google-Extended. Этот элемент управления обучением Google предлагает с 2023 года. Другие провайдеры могут обрабатывать токен похожим образом, так что сайт сможет отказаться сразу у всех или выбирать провайдеров по отдельности.
Прежние настройки сохраняются
Фирменные настройки компаний продолжат работать рядом с общим сигналом. Сайт может задать общее предпочтение токеном и при этом дать Google отдельную инструкцию через Google-Extended.
Кроме того, Google отмечает, что сайты, явно разрешившие Google-Extended, могут попадать в ответы и получать визиты через grounding в Gemini Apps.
Статус и сроки
Пока это черновое предложение, а не готовый стандарт. По словам Google, оно учитывает отзывы издателей, правозащитных организаций, регуляторов и других заинтересованных сторон, а широкая поддержка среди крупных провайдеров ИИ позволила бы в будущем создать общеотраслевой стандарт. Токен использует определение обучения ИИ из IETF, а обсуждение остального словаря AIPREF продолжается.
Google считает, что предложение согласуется с Кодексом практики для провайдеров ИИ-моделей общего назначения в рамках EU AI Act: он признаёт robots.txt одним из главных способов, которым издатели заявляют машиночитаемые предпочтения.
Google рассчитывает поддержать механизм в 2027 году вместе с другими провайдерами ИИ и обещает публиковать обновления. Других провайдеров в публикации не называют, точный синтаксис токена тоже не приводят.
Что проверить
Практический шаг - аудит. Прочитайте свой текущий robots.txt, отметьте правило для Google-Extended, если оно есть, и определите позицию по обучению ИИ на публичном контенте до появления общего токена.