Перейти к содержимому
Логотип The Crawler Zoo

The Crawler Zoo

Живая панель, которая фиксирует и наглядно показывает, какие автоматические краулеры заходят на сайт, с генератором robots.txt.

Активно развивается

АналитикаМониторингАналитика
crawlerzoo.com ↗
Открыть crawlerzoo.comАльтернативыВнедрить в моей командеThe Crawler Zoo - ваш продукт? Подтвердите карточку →
Короткообход 24 окт. 2026 г.

≈ 1визитов/мес

Использование не прочитано · оценка, прочитано 24 окт. 2026 г.

Для кого
Владельцы сайтов, которые хотят видеть, какие краулеры заходят на их сайт, и управлять ими
Активность
Активно развиваетсясайт обновлён 3 дн. назад
Для чего
  • отслеживать живые визиты краулеров на сайт
  • генерировать файл robots.txt
  • блокировать ИИ-краулеры на сайте
Стоит знатьпосчитано по прочитанному · у каждого факта источник
Как с ним работать из программынайдено, а не заявлено · прочитано 24 окт. 2026 г.
  • MCP-серверcom.crawlerzoo/arenaподтверждён в реестре MCP
  • Состояниеотвечает, инструментов: 3проверено 2026-10-24
  • Адрес для подключенияcrawlerzoo.com/mcp

Подробно о MCP-сервере →

Эта карточка в JSON, для вашего агента →

Каждую строку нашла программа: запись в реестре, ответ самого сервера, разобранная спецификация. Если строки нет, мы этого не нашли; это не значит, что этого нет.

Альтернативы в категории «Аналитика»по использованию, среди тех, что поддерживаются

Цифра и полоса: визитов/мес, оценка · год: в сети с

Сравнить The Crawler Zoo с

Выберите до двух.

Все альтернативы The Crawler Zoo (10) →

Все инструменты: Аналитика →

Не то? Напишите, что нужно

бета

Три инструмента из Атласа под вашу задачу. У каждого сказано, что подходит и что нет.

От тех, кто пользуетсяв замер не входят

Заметок пока нет. Для чего вы используете The Crawler Zoo?

Войти и оставить заметку
На какие вопросы отвечает эта страница
  • Что такое The Crawler Zoo?

    Живая панель, которая фиксирует и наглядно показывает, какие автоматические краулеры заходят на сайт, с генератором robots.txt. В Атласе он в категории «Аналитика».

  • Для кого The Crawler Zoo?

    Владельцы сайтов, которые хотят видеть, какие краулеры заходят на их сайт, и управлять ими

  • The Crawler Zoo ещё развивают?

    Активно развивается: сайт обновлён 3 дн. назад.

  • Чем заменить The Crawler Zoo?

    В категории «Аналитика», по использованию: Evidence, Inspectlet, OnyxMetric, Ciphera, DailyLogDesk, OpenRevenue.

Как мы читаем инструмент

Голоса, отзывы и заявления вендора мы не учитываем. Каждую неделю краулер читает собственный сайт инструмента и несколько публичных реестров, а слова на карточке называют диапазон, в который попало прочитанное.

  • Использование: визиты на сайт (оценка), установки из npm и PyPI, присутствие в отчёте Chrome об использовании.
  • Активность: последний релиз на GitHub, npm или PyPI; самая свежая датированная страница сайта; открытые вакансии на публичной доске.
  • Цена: собственная страница цен вендора, прочитанная с датой. Число печатается, только если оно есть на той странице.
  • Строку и сценарии пишем мы сами по главной странице, по одному инструменту за раз, и отбраковываем, когда они повторяют маркетинг вендора.

Как AI-ассистенты читают сайт инструмента (об этом нас спрашивают вендоры), показано на отдельной странице видимости у каждого инструмента.

Как мы читаем каждый инструмент → · Автор: Редакция INITE Atlas