Краулери асистентів: кого пускати на сайт і як це перевірити

Як відрізнити справжні краулери асистентів від підробок, налаштувати robots.txt під AI-ботів і зупинити скрейперів за логами сервера.

Редакція ADS BeastОпубліковано Оновлено 10 хв читання

Статтю підготовлено за допомогою ШІ. За її зміст відповідає редакція ADS Beast.

Краулери асистентів - це боти, які завантажують сторінки сайту, щоб мовні моделі могли посилатися на ваш контент у відповідях. Пропуск визначає, чи згадають вас у ChatGPT, Claude, Perplexity та AI-оглядах Google. Перевірка будується на трьох речах: зворотний DNS, директиви robots.txt і аналіз серверних логів.

Коротко

  • Справжність бота підтверджує тільки зворотний DNS-запит, а не рядок User-Agent.
  • robots.txt не забороняє доступ фізично, він лише просить слухняних ботів не заходити.
  • Якщо для AI-бота немає ні власного блоку, ні загального правила, він вважає доступ дозволеним.
  • Один IP із тисячами запитів на годину без пауз - привід перевірити, чи це не скрейпер.
  • Обмеження швидкості та firewall працюють там, де robots.txt уже не допомагає.

Що таке краулери асистентів і чим вони відрізняються від пошукових

Краулери асистентів завантажують сторінку не для того, щоб показати її в результатах пошуку, а щоб модель могла процитувати або переказати ваш текст у відповіді. Пошуковий бот будує індекс і веде користувача на сайт. AI-бот будує відповідь і часто залишає користувача на своїй платформі.

Звідси різниця в поведінці. Googlebot обходить сайт глибоко, повертається за оновленнями, тримає стабільний темп. Боти асистентів частіше заходять точково: забирають сторінку, яку хтось згадав у запиті, і не завжди повертаються. Частина з них узагалі не виконує JavaScript, тому бачать тільки те, що віддав сервер.

Для власника сайту це означає дві речі. Перша: контент, який ви хочете бачити у відповідях, має бути в HTML, а не збиратися скриптами на клієнті. Друга: рішення «пускати чи ні» стосується не одного бота, а групи з різними іменами і різними власниками.

Які боти асистентів варто знати за іменами

Кожен великий асистент має власний User-Agent, і саме за цим рядком ви прописуєте правила. Нижче - ті, що зустрічаються найчастіше. В OpenAI та Anthropic є ще окремі агенти для пошуку й запитів користувачів: OAI-SearchBot і ChatGPT-User, Claude-SearchBot і Claude-User.

БотЧийЩо робитьЩо варто знати
GPTBotOpenAIЗбирає контент, який може піти на навчання моделейНазиває себе в User-Agent, адреси опубліковано списком
ClaudeBotAnthropicЗбирає контент, який може піти на навчання моделейПідтримує Crawl-delay у robots.txt
PerplexityBotPerplexityІндексує сайти для пошукових відповідей PerplexityНе збирає контент для навчання моделей
Google-ExtendedGoogleКерує використанням контенту для GeminiНе окремий краулер, а токен у robots.txt
BingbotMicrosoftПошук і підказки асистентівПоводиться як класичний пошуковий бот

Google-Extended стоїть окремо: це не бот, який ходить по сайту, а токен у robots.txt. Він вирішує, чи можна використовувати ваш контент для навчання моделей Gemini та для відповідей у Gemini; на AI-огляди в пошуку він не впливає, ними керують правила для Googlebot. Заборонити його - не те саме, що заблокувати Googlebot: звичайний пошук при цьому працює далі.

Список імен не вічний. Нові боти з'являються, старі змінюють назви, і покладатися на пам'ять не варто. Тримайте під рукою офіційну документацію кожного вендора і звіряйтеся з нею, коли в логах з'являється незнайомець.

Як перевірити справжність краулера за три кроки

Справжність бота підтверджує зворотний DNS-запит. User-Agent підробляється одним рядком у скрипті, тому як доказ він не вартий нічого.

  1. Візьміть IP-адресу з логу запиту.
  2. Зробіть зворотний DNS-запит до цієї адреси і подивіться на домен. Для Googlebot це має бути googlebot.com або google.com.
  3. Зробіть прямий DNS-запит до отриманого домену і перевірте, що він резолвиться назад у ту саму IP.

Якщо хоч один крок не сходиться, перед вами підробка. Для Google додатково є офіційні JSON-файли з актуальними діапазонами адрес; вони змінюються, тому стару копію тримати безглуздо. OpenAI, Anthropic і Perplexity теж публікують списки адрес своїх ботів, і для них звірка IP зі списком - основний спосіб перевірки.

Практична порада: не робіть цю перевірку вручну для кожного запиту. Напишіть скрипт, який раз на добу звіряє список IP у логах з офіційними діапазонами і показує розбіжності. Ручна перевірка втомлює вже на третьому десятку рядків, і саме тоді починаються помилки.

Перевірка справжності краулера. Взяти IP із логу: Адреса з поля remote address у серверному логі; Зворотний DNS: Домен має бути googlebot.com або google.com; Прямий DNS: Домен резолвиться назад у ту саму IP; Звірка з діапазонами Google: Офіційні JSON-файли з адресами краулерів
Три кроки, які підтверджують бота незалежно від User-Agent

Як налаштувати robots.txt під AI-ботів

robots.txt лежить у корені домену за адресою example.com/robots.txt і керує доступом через директиви User-agent та Disallow. Файл нічого не захищає фізично: він лише просить слухняних ботів не заходити в указані розділи. Приватні дані через нього ховати не можна, для цього потрібна авторизація.

Головна пастка в тому, що старі правила robots.txt не згадують ботів асистентів. Якщо у файлі немає блоку з конкретним User-agent, бот керується загальним блоком User-agent: *, а якщо немає й такого, вважає доступ дозволеним. Мовчазна згода - це і є ваша політика, навіть якщо ви її не обирали.

Три типові сценарії виглядають так.

  • Дозволити все: окремі блоки для AI-ботів не потрібні, вони й так ходять.
  • Заборонити окремим: для кожного бота пишете свій блок User-agent і Disallow на потрібні розділи.
  • Заборонити всім невідомим: додаєте User-agent: * з Disallow, а потім явно дозволяєте тих, кого хочете бачити.

Останній варіант звучить логічно, але має ціну: разом із невідомими ботами ви відрізаєте і тих, хто з'явиться завтра. Для сайту, який хоче бути присутнім у відповідях асистентів, це рідко вигідний обмін.

Корисно також описати сайт для моделей окремим файлом. Як це зробити, розібрано в матеріалі про llms.txt: що це, навіщо сайту і як його створити. Він не замінює robots.txt, але дає асистенту зрозумілу карту контенту.

Скільки запитів на хвилину робить типовий краулер

Єдиної цифри немає: пошукові системи не публікують фіксованого темпу обходу, а директиву Crawl-delay у robots.txt Google не враховує. Реальний темп для вашого сайту показують лише ваші логи.

SEO-краулери на кшталт Ahrefs або Semrush бувають помітно активнішими. Вони не збирають контент для відповідей, а будують власні бази посилань і метрик. Якщо навантаження різко відрізняється від звичного для вашого сайту, варто перевірити, чи це не скрейпер.

Орієнтуйтеся не на середні цифри, а на власний сервер. Сайт на слабкому хостингу просяде від темпу, який потужний сервер навіть не помітить. Тому ліміти мають сенс тільки разом із реальними метриками: час відповіді, завантаження CPU, кількість одночасних з'єднань.

Як знайти проблемного бота в логах

Проблемного бота видно за концентрацією: один IP або підмережа робить понад тисячу запитів на годину без пауз. Людина так не ходить по сайту, і навіть швидкий пошуковий бот розподіляє навантаження рівніше.

Дивіться на три ознаки разом.

  • Обсяг: тисячі запитів на годину з однієї адреси.
  • Ритм: рівні інтервали між запитами, без пауз на читання.
  • Напрямок: послідовний обхід каталогів, параметрів фільтрів, сторінок пагінації.

Окремо перевіряйте, що саме бот забирає. Якщо під удар потрапляють сторінки з дорогою генерацією, фільтрами чи пошуком по базі, навантаження зростає не пропорційно кількості запитів. Один скрейпер на сторінці пошуку може покласти сайт швидше, ніж тисяча запитів до статичних сторінок.

Що робити, якщо невідомий бот завантажує тисячі сторінок

Спочатку перевірте логи і підтвердьте, що це справді аномалія, а не сплеск від відомого бота. Далі варіанти йдуть від м'яких до жорстких.

  1. Обмежте швидкість на рівні сервера (rate limiting). Це найпростіший крок і часто достатній.
  2. Заблокуйте діапазон адрес у firewall, якщо запити йдуть із підмережі.
  3. Віддавайте 403 на підозрілий User-Agent. Працює проти лінивих скрейперів, які не змінюють рядок.
  4. Додайте керування ботами на рівні CDN, наприклад Cloudflare Bot Management: він фільтрує автоматизований трафік ще до вашого сервера.
  5. Пропишіть заборону в robots.txt, якщо бот слухняний. Це дешево і не завадить.

Порядок важливий. Блокування за User-Agent без перевірки IP іноді відрізає справжнього бота, а підробка продовжує ходити. Починайте з логів, а не зі списку заборон.

Пускати бота чи обмежувати. Контентний сайт: Доступ дає цитати в асистентах і впізнаваність; Сервіс із платним доступом: Закрити платні розділи, лишити описи й довідку; SEO-краулер: Обмежити швидкість, повна заборона рідко потрібна; Скрейпер без підтвердження: Rate limiting, firewall, 403 або Bot Ma
Рішення залежить від типу сайту і типу бота

Кого пускати: рішення для сайту

Пускати чи ні - це рішення про видимість, а не про безпеку. Бот асистента, якому ви дозволили доступ, може процитувати ваш контент у відповіді. Бот, якому ви відмовили, не згадає вас узагалі.

Логіка вибору залежить від того, що ви продаєте.

  • Контентний сайт або блог зазвичай виграє від доступу: цитата в асистенті приводить трафік і впізнаваність.
  • Сервіс із платним доступом закриває платні розділи і лишає відкритими описи та довідку.
  • Сайт із тонким контентом і агресивним SEO-краулером виграє від обмеження швидкості, а не від повної заборони.

Окремо варто перевірити, що взагалі кажуть асистенти про вашу компанію. Якщо у відповідях з'являється застаріла інформація або чужі дані, доступ до сайту тут ні до чого: проблему треба шукати в джерелах, з яких модель бере факти. Покрокова перевірка описана в статті Що про компанію говорять відповіді ШІ: перевірка за 5 кроків.

Як виміряти ефект від рішень

Ефект від політики доступу вимірюється не однією цифрою. Дивіться на три шари окремо: обсяг трафіку від ботів у логах, частку AI-переходів у аналітиці та згадки бренду у відповідях асистентів.

Порівнювати періоди «до» і «після» треба обережно. Той самий відрізок часу дає різні цифри залежно від того, як налаштоване вікно атрибуції, і це плутає висновки. Механіку розібрано в матеріалі Вікно атрибуції: чому той самий період дає різні цифри.

Якщо ви ведете платний трафік і хочете бачити, що саме приносить конверсії, а не тільки кліки, варто налаштувати серверну передачу даних. Про це - в інструкції Серверна передача конверсій: як увімкнути без подвійного обліку.

Для агенцій, які ведуть кілька клієнтських сайтів одночасно, ці рішення зручніше тримати в одному контурі. Історію згадок бренду у відповідях ШІ веде платформа ADS Beast.

Наступний крок

Візьміть логи за останні сім днів і складіть список усіх ботів із кількістю запитів. Для трьох найактивніших зробіть зворотний DNS-запит і позначте, хто підтвердився, а хто ні. Далі відкрийте robots.txt і перевірте, чи є в ньому блоки для тих ботів асистентів, яких ви хочете бачити або не хочете. Це недовго і дає повну картину.

Подивитися, як це влаштовано в ADS Beast.