Краулеры ассистентов: кого пускать на сайт и как проверить

Разбираем, как отличить краулеры ассистентов от поисковых ботов, где взять списки IP, как настроить robots.txt и лимиты запросов на сервере.

Редакция ADS BeastОпубликовано Обновлено 8 мин чтения

Статья подготовлена с помощью ИИ. За её содержание отвечает редакция ADS Beast.

Краулеры ассистентов - это боты AI-сервисов (GPTBot, ClaudeBot, PerplexityBot и другие), которые забирают содержимое страниц, чтобы потом отвечать на вопросы пользователей. Пускать их или нет - решение про трафик и контроль, а не про технологию. Проверка сводится к трём вещам: User-Agent, IP и обратный DNS.

Коротко:

  • Краулеры ассистентов отличаются от поисковых ботов целью: они собирают текст для обучения моделей и для ответов в чате, а не для поисковой выдачи.
  • Один User-Agent ничего не доказывает. Его подделывают скраперы.
  • Настоящий бот подтверждается по IP: адрес должен входить в опубликованный вендором список, а у Googlebot дополнительно проверяется обратный и прямой DNS.
  • Решение «пускать или блокировать» зависит от модели монетизации: охват в AI-ответах против защиты уникального контента.
  • Ограничить нагрузку можно на сервере через rate limit; Crawl-delay в robots.txt учитывают не все боты.

Чем краулеры ассистентов отличаются от поисковых ботов

Краулеры ассистентов собирают контент не для индекса поиска, а для генерации ответов в чат-интерфейсе. Поисковый бот приводит пользователя на сайт по ссылке из выдачи. Краулер ассистента приводит цитату или пересказ внутри ответа, и переход по ссылке случается далеко не всегда.

Отсюда практическая разница. Googlebot и YandexBot ходят с подтверждённых IP-диапазонов, и принадлежность запроса проверяется обратным DNS-запросом: имя хоста должно заканчиваться на домене поисковика, а прямой DNS этого хоста - возвращать тот же IP. У краулеров ассистентов основной способ другой: OpenAI, Anthropic и Perplexity публикуют списки IP-адресов своих ботов в формате JSON, и адрес запроса сверяют с этим списком.

Есть и вторая разница: назначение обхода. Поисковик обходит сайт, чтобы показать сниппет и отправить трафик. Ассистент обходит сайт, чтобы использовать текст как источник в ответе. Для сайта с подпиской или платным контентом это принципиально разные вещи.

Как проверить, что запрос пришёл от настоящего краулера

Проверка состоит из трёх шагов, и пропускать средний нельзя. User-Agent легко подделать, IP подделать сложнее, а связка «IP + обратный DNS + прямой DNS» даёт почти полную уверенность.

  1. Посмотрите User-Agent в логах сервера. GPTBot, ClaudeBot, PerplexityBot и их аналоги заявляют себя в строке запроса. Это только первый фильтр, а не доказательство.
  2. Сверьте IP с официальным списком диапазонов вендора. Если адрес не попадает ни в один опубликованный диапазон, это повод насторожиться.
  3. Если вендор описывает проверку через DNS (так делает Google), сделайте обратный DNS-запрос по IP. У настоящего бота хост должен заканчиваться на домене вендора. Затем сделайте прямой DNS по этому хосту и убедитесь, что он возвращает исходный IP. Несовпадение означает подделку.

Второй и третий шаги закрывают основную дыру. Скрапер может подставить в User-Agent строку GPTBot и ходить с любого адреса. Но он не сможет попасть в опубликованный список адресов OpenAI или заставить обратный DNS чужого IP отвечать именем хоста в домене googlebot.com.

Если в логах видно, что запросы приходят с одного IP-диапазона, но этих адресов нет в опубликованных списках вендоров, это, скорее всего, не ассистент. Такой трафик блокируется без сожалений.

Как проверить краулера ассистента. User-Agent: Первый фильтр, легко подделывается скраперами; Сверка с IP-диапазоном: Официальный список вендора, перепроверяйте раз в месяц; Обратный и прямой DNS: Хост на домене вендора должен вернуть тот же IP
Три шага от строки в логах до подтверждения владельца бота

Кого пускать: решение по типу сайта

Универсального ответа нет. Всё упирается в то, как сайт зарабатывает. Если деньги приходят из показов рекламы и переходов, доступ краулерам ассистентов расширяет охват. Если деньги приходят из подписки на уникальный контент, бесплатная выдача этого контента в ответах ассистента работает против вас.

Тип сайтаПускать краулеры ассистентовПочему
Медиа и блоги с рекламойДаРост цитируемости в AI-ответах даёт дополнительную видимость
Интернет-магазиныДа, но следить за нагрузкойКарточки и описания попадают в ответы на запросы о товарах
SaaS с бесплатным тарифомДаАссистенты приводят пользователей на верх воронки
Сайты с платной подпискойЗависит от доли платного контентаПубличные страницы можно открыть, закрытые разделы - нет
Сайты с уникальными исследованиямиРешение за владельцемЦенность в первоисточнике, пересказ в ответе её размывает

Отдельно стоит вопрос про трафик. Даже если вы решили пускать ботов, стоит отслеживать, сколько ресурсов они потребляют. Краулер может обходить архивные страницы, которых нет в sitemap, и создавать нагрузку на базу данных. Это лечится настройками, а не полной блокировкой.

Пускать или блокировать: по типу сайта. Медиа и блоги с рекламой: Пускать: рост цитируемости даёт дополнительную видимость; Магазины и SaaS: Пускать, но следить за нагрузкой на сервер; Платная подписка: Открывать публичные разделы, закрывать платные; Уникальные исследования: Решение за владельцем: п
Решение зависит от того, как сайт зарабатывает

Что будет, если закрыть сайт от краулеров ассистентов

Ассистент перестанет брать контент с вашего сайта и в ответах начнёт ссылаться на другие источники. Для сайтов, которые монетизируются через трафик, это снижает видимость в AI-выдаче.

Если контент уникальный и вы продаёте подписку, блокировка часто оправдана: вы не отдаёте актив бесплатно. Если цель - охват и узнаваемость, лучше оставить доступ и следить за нагрузкой. Промежуточный вариант - открыть только те разделы, которые и так публичны, а закрыть материалы для подписчиков.

Здесь есть тонкость. Блокировка через robots.txt - это вежливая просьба, а не технический запрет. Добросовестные краулеры её соблюдают, скраперы игнорируют. Если нужен жёсткий контроль, robots.txt дополняется блокировкой по IP на уровне сервера или WAF.

Как ограничить нагрузку от краулеров

Интенсивность обхода зависит от размера сайта и у разных ботов разная. Лимитов на число запросов вендоры не публикуют, поэтому ориентируйтесь на собственные логи, а ограничения ставит владелец сайта.

В robots.txt можно задать Crawl-delay - паузу между запросами. Это нестандартная директива: Anthropic пишет, что его боты её поддерживают, а Google её не учитывает. На уровне сервера лимит ставится по IP или User-Agent: в Nginx это делается через limit_req_zone, на Cloudflare - через правила WAF. Если бот игнорирует лимиты и продолжает долбить сайт, блокируйте диапазон целиком.

Полезно логировать обходы отдельно от обычного трафика. Тогда видно, сколько страниц в сутки забирает каждый бот и растёт ли эта цифра. Часто проблема не в самом краулере, а в том, что он находит тысячи параметризованных URL через фильтры и пагинацию. Закрытие таких URL в robots.txt снижает нагрузку сильнее, чем общий rate limit.

Настройка доступа - часть более широкой работы с видимостью. Если вы ведёте несколько проектов, посмотрите, как устроена работа с рекламой в ADS Beast.

Где взять официальные списки IP и как их поддерживать

Крупные вендоры публикуют адреса на своих сайтах. OpenAI даёт ссылки на JSON-файлы для каждого бота в документации по ботам. Anthropic ссылается на список адресов в справочной статье о своих краулерах. Google публикует JSON-файлы с диапазонами в инструкции по проверке своих краулеров.

Списки обновляются, поэтому раз в месяц их стоит перепроверять. Вручную это быстро надоедает, и появляется соблазн забить. Практичнее подтягивать диапазоны скриптом: скачивать файл, парсить и обновлять правила на сервере или в WAF. Тогда проверка не зависит от того, вспомнил ли кто-то зайти на сайт вендора.

Если бот приходит с IP, которого нет в официальном списке, причин две. Либо это подделка: скрапер маскируется под GPTBot. Либо вендор расширил инфраструктуру и не обновил публичный список. Сначала скачайте свежую версию списка и сверьте адрес ещё раз. Если его нет и там, считайте запрос неподтверждённым: User-Agent сам по себе ничего не доказывает.

Как связать доступ краулеров с аналитикой

Открытый доступ к контенту для ассистентов меняет картину трафика, и это стоит учитывать при разборе статистики. Переходы из чат-ботов часто попадают в категорию «прямые» или «переходы по ссылкам», а не в органику. Из-за этого цифры в отчётах не сходятся с ожиданиями, и полезно понимать, почему цифры в статистике разные - окно атрибуции.

Если вы отслеживаете конверсии из AI-трафика, настройте передачу событий корректно, чтобы не задваивать заявки: серверная передача конверсий без двойного счёта. А чтобы решения по ставкам и бюджетам опирались на достаточный объём данных, а не на шум, пригодится материал о том, когда данных достаточно, чтобы отключить объявление.

Отдельная задача - понять, что именно ассистенты рассказывают о вашей компании. Это проверяется не в логах, а запросами к самим ассистентам: что о компании говорят ответы ИИ - проверка репутации. И если вы хотите управлять тем, что боты видят в первую очередь, стоит завести служебный файл: llms.txt: зачем сайту этот файл и что в него писать.

Следующий шаг

Проверьте текущие логи за последние сутки и выпишите всех ботов, которые заходили на сайт. Для каждого определите, подтверждается ли он обратным DNS и попадает ли его IP в официальный список вендора. После этого примите решение по каждому: пускать, ограничивать или блокировать. Начать удобно с настройки отдельного лога для ботов, чтобы дальше работать с фактами, а не с догадками.

Посмотреть, как это устроено в ADS Beast.