Карта сайту: помилки, через які сторінки не потрапляють в індекс

Розбираємо помилки в карті сайту, через які Google не індексує сторінки: noindex, canonical, ліміти, lastmod. Як перевірити і виправити.

Редакція ADS BeastОпубліковано Оновлено 8 хв читання

Статтю підготовлено за допомогою ШІ. За її зміст відповідає редакція ADS Beast.

Карта сайту - це XML-файл зі списком URL, які ви хочете показати Google. Сама по собі вона не гарантує індексацію: валідний sitemap лише повідомляє про наявність сторінки. Якщо URL закритий у robots.txt, має noindex, canonical на іншу адресу або помилку 404, сторінка повноцінно в індекс не потрапить, хоч би як коректно був складений файл.

Коротко

  • Карта сайту прискорює виявлення URL, але рішення про індексацію Google ухвалює окремо.
  • Найчастіші блокувальники: noindex, canonical на інший URL, закриття в robots.txt, помилки 404 і 301.
  • Ліміт одного файлу - 50 000 URL і 50 МБ у нестиснутому вигляді; більші сайти розбивають на кілька карт і sitemap index.
  • Неправильний формат lastmod знижує довіру до карти: Google перестає вірити датам оновлення.
  • Перевіряти стан справ найшвидше через Google Search Console: розділи «Карти сайтів» і «Сторінки».

Чому валідна карта сайту не дорівнює індексації

Карта сайту виконує одну функцію: підказує пошуковику, які URL існують і коли вони змінювалися. Це запрошення до обходу, не команда. Google вирішує самостійно, чи варто включати сторінку в індекс, і робить це за власними критеріями якості та технічного стану.

Тому ситуація «sitemap без помилок у валідаторі, а сторінок в індексі немає» - нормальна і дуже поширена. Валідатор перевіряє синтаксис XML і відповідність схемі. Він не бачить, що закрито в robots.txt, що сторінка віддає noindex або що canonical веде на іншу адресу. Ці речі лежать поза файлом карти і перевіряються окремо.

Практичний висновок: карта сайту - це перший крок у ланцюжку, а не останній. Після її публікації робота тільки починається.

Помилки в самій карті сайту, які шкодять індексації

Помилки всередині файлу знижують довіру Google до карти як до джерела. Коли пошуковик бачить, що частина URL зі списку не відповідає дійсності, він обробляє решту повільніше і рідше повертається до оновлень.

Найпоширеніші:

  • URL, що віддають 404. Сторінку видалили, а з карти прибрати забули.
  • URL з редиректом 301. У карті має бути кінцева адреса, а не та, що перенаправляє.
  • Зайві параметри в адресі. Фільтри, сортування, UTM-мітки створюють дублікати, які не потрібні в індексі.
  • Дублікати без canonical. Двічі той самий контент за різними адресами без вказівки основної.
  • Перевищення ліміту 50 000 URL або 50 МБ на один файл. Такий файл Search Console позначає помилкою.
  • Неправильний формат lastmod. Довільний рядок замість дати у форматі W3C або дата в майбутньому.

Кожна з цих помилок не блокує індексацію напряму, але знижує ймовірність, що Google взагалі візьме URL з карти до обробки. Для великого сайту це означає, що нові сторінки довше чекають обходу.

Конфлікт між картою сайту і сторінкою. noindex: Не індексується, карта не допомагає; canonical на іншу адресу: Індексується інша адреса; Disallow у robots.txt: Не обходиться; може бути в індексі без опису; 404 або 301: URL випадає з обробки карти
Що перемагає, коли карта і сторінка суперечать одна одній

Конфлікти між картою сайту і сторінкою

Це найпідступніша група помилок, бо файл може бути ідеальним, а сторінка - закритою для індексації. Google у такому конфлікті завжди трактує на користь заборони.

Якщо в карті є URL із noindex, сторінка не потрапить в індекс. Наявність noindex у sitemap - пряма суперечність: карта каже «проіндексуй», мета-тег каже «не треба». Google слухає мета-тег. Так само працює canonical: якщо сторінка з карти вказує canonical на іншу адресу, в індекс піде та, інша, а не ця.

Третій випадок - закриття в robots.txt. Директива Disallow забороняє обхід, і Google не побачить ні сторінку, ні її canonical. Іноді це призводить до дивного ефекту: URL з'являється в індексі без опису, бо пошуковик знає про нього з зовнішніх посилань, але не може прочитати вміст.

Що показує карта сайтуЩо каже сторінкаРезультат
URL у спискуnoindexНе індексується
URL у спискуcanonical на іншу адресуІндексується інша адреса
URL у спискуDisallow у robots.txtНе обходиться; може потрапити в індекс без опису
URL у списку404Помилка, URL випадає з обробки
URL у списку301Індексується кінцева адреса, не ця
URL у списку200, canonical на себе, без noindexІндексується за рішенням Google

Регулярно звіряйте карту з реальним списком сторінок, які мають бути в індексі. Розбіжність між цими двома списками - головне джерело проблем.

Як перевірити, чи Google бачить сторінки з карти сайту

Перевірка недовга, якщо знати, куди дивитися. Google Search Console дає три інструменти, і кожен відповідає на своє питання.

  1. Розділ «Карти сайтів». Показує статус обробки файлу і скільки URL Google знайшов. Якщо статус «Не вдалося прочитати», проблема у файлі або доступі до нього.
  2. Розділ «Сторінки» в блоці індексування. Пояснює, чому конкретні URL виключені: noindex, canonical, помилка, дублікат без вибраного canonical.
  3. Тест URL на живій сторінці. Точкова перевірка одного URL: що бачить Google, чи доступна сторінка, чи немає блокувань.

Порядок роботи такий: спочатку дивитеся, чи карта взагалі прочитана. Потім - скільки URL з неї виявлено. І лише потім переходите до списку виключених сторінок, щоб знайти причину по кожній.

Якщо паралельно ведете рекламу і хочете, щоб посадкові сторінки швидко потрапляли в індекс, варто звіряти технічний стан сайту з даними кабінету. Розбіжності між тим, що бачить Google, і тим, що показує рекламна система, зазвичай видно на рівні звітів: цифри рекламного кабінету не збігаються з CRM - там розібрано, як зводити джерела і не втрачати сторінки на етапі аналізу.

Ліміти карти сайту і що робити на великих сайтах

Один файл карти сайту вміщає не більше 50 000 URL і не більше 50 МБ у нестиснутому вигляді. Це межа з документації Google, а не рекомендація: більший файл треба ділити на кілька.

Якщо сайт більший, карту розбивають на кілька файлів і об'єднують через sitemap index - окремий файл, який лише перелічує адреси інших карт. Такий підхід дає ще одну перевагу: можна оновлювати тільки ті карти, де щось змінилося, а не перезаписувати весь список.

Типовий поділ для інтернет-магазину: окрема карта для категорій, окрема для товарів, окрема для статей блогу. Це не лише зручніше технічно, а й допомагає в діагностиці: якщо товари випали з індексу, ви одразу бачите, у якій частині шукати причину.

Для сайтів, де контент оновлюється часто, має сенс тримати lastmod у коректному форматі й оновлювати його лише за реальних змін. Якщо дати проставляються автоматично при кожному релізі, Google швидко перестає їм довіряти, і карта втрачає частину сенсу.

Перевірка карти сайту перед публікацією. Тільки статус 200: Без 404 і редиректів у списку; Canonical на себе: Без дублів і параметричних адрес; Без noindex: Сторінка і карта не суперечать; Коректний lastmod: Дата змінюється лише за реальних правок; Ліміт 50 000 URL: Більші сайти діляться через sitem
Фільтри, які прибирають більшість помилок автоматично

Що робити з noindex і canonical у карті сайту

Приберіть такі URL з карти або зніміть noindex, якщо сторінка має бути в індексі. Це єдине правильне рішення, і воно вимагає чесної відповіді на питання: чи потрібна ця сторінка в пошуку взагалі.

Логіка проста. Якщо сторінка потрібна в індексі - знімаємо noindex, перевіряємо, що canonical вказує на саму себе, і залишаємо URL у карті. Якщо не потрібна - прибираємо з карти і залишаємо noindex. Проміжного стану, коли сторінка в карті з noindex, бути не повинно.

Окремо перевірте сторінки з canonical. Класична помилка: у карті лежить URL з параметром, а canonical веде на чисту адресу. Google індексує чисту, а параметричний дубль продовжує висіти в карті і витрачати бюджет обходу. Такі URL прибирають.

Якщо сайт великий і сторінок багато, зручно вести таблицю відповідності: URL у карті, статус, canonical, наявність noindex. Оновлювати її при кожній зміні шаблону або релізі. Це нудно, але саме так ловляться конфлікти, які інакше виявляються через місяці.

Часті помилки при формуванні карти сайту

Ось що трапляється найчастіше на практиці, і як відрізнити проблему заздалегідь.

  • Карта генерується з бази даних без фільтра статусу. Товари, зняті з продажу, залишаються в списку і віддають 404.
  • Карта включає сторінки пагінації. Сторінки 2, 3, 4 списку товарів не потрібні в індексі окремо.
  • Карта містить URL, закриті в robots.txt. Найчастіше це службові розділи, які колись закрили, а з карти не прибрали.
  • lastmod ставиться на поточну дату для всіх URL. Google бачить, що «усе оновилося» щодня, і перестає реагувати.
  • Карта не оновлюється після релізу. Нові сторінки з'являються, але пошуковик про них не дізнається.

Відрізнити ці помилки заздалегідь можна на етапі налаштування генерації. Якщо карта формується автоматично, додайте фільтри: тільки статус 200, тільки canonical на себе, тільки сторінки без noindex. Це прибирає більшість проблем ще до публікації.

Якщо паралельно запускаєте платні кампанії, варто переконатися, що посадкові сторінки доступні для індексації до старту. Тут допоможе матеріал про налаштування Google Ads: покроковий старт для бізнесу - він про те, як не витрачати бюджет на сторінки, які Google не бачить.

Наступний крок

Відкрийте Google Search Console, розділ «Карти сайтів», і перевірте статус обробки. Далі перейдіть у «Сторінки» і подивіться список виключених URL: саме там видно, скільки сторінок випало і з якої причини. Інструменти ADS Beast для контенту і SEO (контент-план, ШІ-автор, відстеження позицій) описано на сторінці контент і SEO.