Карта сайта: ошибки, из-за которых страницы не попадают в индекс

Разбираем, почему карта сайта не приводит страницы в индекс: лимиты, noindex, редиректы, robots.txt. Как проверить sitemap в Search Console и что исправить.

Редакция ADS BeastОпубликовано Обновлено 9 мин чтения

Статья подготовлена с помощью ИИ. За её содержание отвечает редакция ADS Beast.

Карта сайта (sitemap) - это XML-файл со списком URL, которые вы хотите показать поисковым системам. Она помогает Google быстрее находить страницы, но не гарантирует индексацию. Чаще всего страницы не попадают в индекс не из-за самой карты, а из-за технических запретов на странице или её низкой ценности для поиска.

Коротко

  • Карта сайта ускоряет обнаружение URL, но решение об индексации принимает Google по качеству и доступности страницы.
  • Один файл sitemap.xml вмещает до 50 000 URL и до 50 МБ в несжатом виде.
  • Страницы с noindex, редиректом, кодом 404 или canonical на другой адрес в карту включать нельзя.
  • Статус «Страница просканирована, но пока не проиндексирована» означает, что Google обошёл URL, но в индекс его не добавил.
  • Проверять карту нужно в Google Search Console, в разделе «Файлы Sitemap».

Что такое карта сайта и зачем она нужна

Карта сайта - это файл, в котором перечислены адреса страниц сайта в формате XML. Sitemap это не инструмент продвижения, а способ коммуникации с поисковыми роботами: он сообщает, какие URL существуют и когда они обновлялись. Робот может найти страницы и без карты, по внутренним ссылкам, но карта сокращает путь.

Для небольших сайтов карта почти не даёт прироста: Google обходит десятки страниц быстро и сам. Для крупных проектов, интернет-магазинов с фильтрами и каталогами, а также для сайтов с глубокой вложенностью карта становится основным способом сообщить о новых разделах. Отдельно она нужна там, где страницы плохо связаны ссылками между собой.

Важно разделять две вещи. Обнаружение (URL найден роботом) и индексация (страница добавлена в базу поиска) - разные этапы. Карта сайта влияет на первый, но почти не влияет на второй.

Ошибка 1: страницы закрыты от индексации на самом сайте

Наличие карты сайта не гарантирует индексацию. Если страница закрыта технически, Google проигнорирует её, даже когда адрес указан в sitemap.

Проверьте три вещи на каждой странице из карты:

  1. Директива noindex в мета-теге robots или в HTTP-заголовке X-Robots-Tag. Пока директива стоит, страница в индекс не попадёт.
  2. Закрытие в robots.txt. Если URL запрещён для обхода, робот не увидит ни контент, ни canonical, ни noindex.
  3. Canonical на другой адрес. Если страница указывает канонической другую версию, в индекс попадёт она, а не исходный URL.

Самая частая ситуация: разработчик закрыл раздел в robots.txt на время доработки и забыл снять запрет. Или наоборот, страница открыта, но содержит noindex, оставшийся от тестового периода. Оба случая дают одинаковый результат: URL висит в карте, но в индексе его нет.

Отдельно проверьте, не противоречат ли сигналы друг другу. Если страница закрыта в robots.txt, а в карте указана, Google не сможет прочитать noindex на ней и может сохранить URL в индексе как пустой. Это хуже, чем просто исключить адрес из карты.

Ошибка 2: в карте лежат редиректы, 404 и дубли

В карте должны быть только канонические адреса с кодом ответа 200. Всё остальное тратит краулинговый бюджет и путает робота.

Тип URL в картеКод ответаЧто происходитЧто делать
Каноническая страница200ИндексируетсяОставить
Редирект301 или 302Робот идёт по цепочке, бюджет расходуетсяЗаменить на конечный адрес
Удалённая страница404 или 410Не индексируетсяУбрать из карты
Дубль с canonical200В индекс идёт другая версияУбрать дубль
Страница с noindex200Исключена из индексаУбрать из карты

Что делать, если в карте сайта указаны страницы с noindex или редиректами: уберите такие URL. Страницы с noindex не попадут в индекс, а редиректы расходуют краулинговый бюджет, который мог бы уйти на реальные страницы. Если страница временно закрыта, лучше не добавлять её до открытия, чтобы не отправлять Google противоречивые сигналы.

Дубли - отдельная категория. Интернет-магазины часто отдают один товар по нескольким адресам: с параметрами сортировки, с GET-параметрами фильтров, с разным регистром. Если все эти варианты попали в карту, робот тратит время на обход копий. В карте должен быть один адрес товара.

Ошибка 3: превышены лимиты файла

Один файл sitemap.xml может содержать до 50 000 URL и весить не больше 50 МБ в несжатом виде (документация Google). Если сайт крупнее, карту разбивают на несколько файлов и объединяют через индексную карту (sitemap index). В robots.txt можно указать путь к индексной карте, чтобы Google нашёл все части.

Признаки, что вы упёрлись в лимит: часть страниц не появляется в отчёте GSC, файл открывается медленно или отдаёт ошибку таймаута, генератор карты падает при построении. Решение одно: разбивать на части по логическим разделам, например товары, статьи, категории, и собирать их индексным файлом.

Индексная карта - это XML-файл, который содержит ссылки не на страницы, а на другие карты. Google обходит её как обычную карту и последовательно читает каждую часть. Этот подход удобен и для сайтов с несколькими поддоменами: у каждого поддомена своя карта, а индексная собирает их в одном месте.

Ошибка 4: карта не там, где её ищут

Разместите файл в корне домена, например https://example.com/sitemap.xml, чтобы Google мог найти его по стандартному пути. Дополнительно укажите адрес в robots.txt строкой Sitemap: и добавьте в Search Console. Для сайтов с несколькими поддоменами или разделами используйте отдельные карты и индексный файл.

Если карта лежит по нестандартному адресу, например в подпапке или с другим именем, Google не узнает о ней автоматически. Указание в robots.txt решает проблему, но саму строку легко забыть при переезде сайта или смене CMS.

Ещё одна ошибка - карта отдаёт неверный Content-Type или требует авторизации. Файл должен быть доступен анонимно и отдаваться как XML. Если сервер закрывает доступ по IP или требует cookie, робот получит ошибку и карта не обработается.

Что проверить в карте сайта. Код ответа 200: В карте только канонические адреса без редиректов и 404; Нет noindex: Страницы из карты открыты для индексации; Canonical на себя: Адрес не указывает канонической другую версию; Лимиты соблюдены: До 50 000 URL и до 50 МБ на файл; Путь в robots.txt: Строка
Пять проверок, которые убирают основные причины исключения из индекса

Ошибка 5: карта есть, но контент не тянет на индекс

Даже идеально собранная карта не поможет, если страницы не представляют ценности для поиска. Тонкие и дублирующиеся страницы часто остаются в статусе «Страница просканирована, но пока не проиндексирована». Это не ошибка карты, а сигнал о качестве контента.

Типичные причины:

  • Страница-заглушка с парой абзацев и без уникальной информации.
  • Страницы фильтров, которые отличаются только параметрами.
  • Автоматически сгенерированные страницы без реального содержимого.
  • Дубли основного текста с незначительными правками.

Google в таких случаях выбирает, что индексировать, и оставляет только часть. Ускорить процесс можно, объединив слабые страницы в одну сильную или закрыв их от индексации и убрав из карты. Добавлять в sitemap всё подряд, «чтобы проиндексировалось», не работает: карта не повышает ценность страницы.

Как найти ошибки в карте. Открыть карту в браузере: Убедиться, что файл отдаётся без ошибок; Прогнать XML-валидатором: Проверить структуру тегов и формат; Проверить коды ответа: Выборка URL должна возвращать 200; Сверить с отчётом GSC: Сколько URL в индексе, сколько исключено; Разобрать исключения:
Порядок проверки от файла до отчёта в Search Console

Как проверить карту и найти ошибки

Добавьте карту в Google Search Console в разделе «Файлы Sitemap» и посмотрите статус обработки. Для каждой карты GSC показывает число обнаруженных страниц и ошибки: неверный формат, недопустимые теги, битые ссылки. Дополнительно проверьте XML-валидатором и убедитесь, что все URL возвращают код 200.

Практический порядок проверки:

  1. Откройте карту в браузере и убедитесь, что она отдаётся без ошибок.
  2. Прогоните файл через XML-валидатор и проверьте структуру тегов.
  3. Возьмите выборку URL из карты и проверьте коды ответа сканером.
  4. Сверьте статусы в отчёте «Страницы» в GSC: сколько URL из карты в индексе, сколько исключено.
  5. Найдите пересечение: адреса из карты, которые помечены как исключённые, и разберите причину по каждому.

Полезно вести такую проверку регулярно, а не разово. Карта обновляется вместе с сайтом, и ошибки появляются вместе с новыми страницами. Автоматизация проверки экономит время: достаточно настроить регулярный обход карты и сравнение кодов ответа.

Как выглядит правильная карта сайта

Правильная xml карта сайта содержит только канонические URL с кодом 200, актуальную дату последнего изменения и, при необходимости, приоритет и частоту обновления. Приоритет и частоту обновления Google игнорирует, а lastmod учитывает, только если дата стабильно точная.

Карта сайта пример для небольшого проекта выглядит так: один файл sitemap.xml в корне, в нём перечислены все значимые страницы, каждая с датой lastmod. В robots.txt есть строка Sitemap с полным адресом. Файл добавлен в Search Console и обработан без ошибок.

Для крупных проектов структура другая: индексная карта плюс несколько тематических карт. Так проще обновлять: меняется раздел товаров - пересобирается только его карта, остальные не трогаются.

Карта сайта на популярных CMS

На wordpress карта сайта обычно генерируется плагином. Yoast SEO карта сайта создаётся автоматически по адресу /sitemap_index.xml, и её не нужно собирать вручную. Плагин сам разбивает карту по типам контента: записи, страницы, таксономии. Проблема возникает, когда в карту попадают служебные страницы или архивы, которые не должны индексироваться.

В wp карта сайта может конфликтовать с кэширующими плагинами: файл отдаётся из кэша и не обновляется после публикации новых записей. Проверяйте, обновляется ли lastmod у свежих страниц. Если нет, исключите карту из кэширования.

Для opencart карта сайта часто генерируется модулем или встроенным инструментом. Основная ошибка здесь - попадание в карту товаров с параметрами сортировки и фильтров. Настройте генератор так, чтобы в карту шли только чистые URL категорий и товаров.

Следующий шаг

Начните с одного действия: откройте Google Search Console, раздел «Файлы Sitemap», и сверьте статус обработки с отчётом «Страницы». Найдите адреса из карты, которые исключены из индекса, и разберите причину по каждому. Если сайтов и проектов несколько, а проверять их вручную долго, автоматизируйте регулярный обход карт и сверку кодов ответа любым сканером. Инструменты ADS Beast для контента и SEO (контент-план, ИИ-автор, отслеживание позиций) описаны на странице контент и SEO.

Чтобы подробнее разобраться в связанных вопросах, прочитайте Карта сайта онлайн: генерация, визуализация, ошибки и AI writer для SEO: тексты, которые ранжируются.