Карта сайта: ошибки, из-за которых страницы не попадают в индекс

Карта сайта (sitemap) - это XML-файл со списком URL, которые вы хотите показать поисковым системам. Она помогает Google быстрее находить страницы, но не гарантирует индексацию. Чаще всего страницы не попадают в индекс не из-за самой карты, а из-за технических запретов на странице или её низкой ценности для поиска.

Коротко

• Карта сайта ускоряет обнаружение URL, но решение об индексации принимает Google по качеству и доступности страницы.
• Один файл sitemap.xml вмещает до 50 000 URL и до 50 МБ в несжатом виде.
• Страницы с noindex, редиректом, кодом 404 или canonical на другой адрес в карту включать нельзя.
• Статус «Обнаружено, не проиндексировано» означает, что URL найден, но признан недостаточно ценным.
• Проверять карту нужно в Google Search Console, в разделе «Файлы Sitemap».

Что такое карта сайта и зачем она нужна

Карта сайта - это файл, в котором перечислены адреса страниц сайта в формате XML. Sitemap это не инструмент продвижения, а способ коммуникации с поисковыми роботами: он сообщает, какие URL существуют и когда они обновлялись. Робот может найти страницы и без карты, по внутренним ссылкам, но карта сокращает путь.

Для небольших сайтов карта почти не даёт прироста: Google обходит десятки страниц быстро и сам. Для крупных проектов, интернет-магазинов с фильтрами и каталогами, а также для сайтов с глубокой вложенностью карта становится основным способом сообщить о новых разделах. Отдельно она нужна там, где страницы плохо связаны ссылками между собой.

Важно разделять две вещи. Обнаружение (URL найден роботом) и индексация (страница добавлена в базу поиска) - разные этапы. Карта сайта влияет на первый, но почти не влияет на второй.

Ошибка 1: страницы закрыты от индексации на самом сайте

Наличие карты сайта не гарантирует индексацию. Если страница закрыта технически, Google проигнорирует её, даже когда адрес указан в sitemap.

Проверьте три вещи на каждой странице из карты:

1. Директива noindex в мета-теге robots или в HTTP-заголовке X-Robots-Tag. Такая страница не попадёт в индекс никогда.
2. Закрытие в robots.txt. Если URL запрещён для обхода, робот не увидит ни контент, ни canonical, ни noindex.
3. Canonical на другой адрес. Если страница указывает канонической другую версию, в индекс попадёт она, а не исходный URL.

Самая частая ситуация: разработчик закрыл раздел в robots.txt на время доработки и забыл снять запрет. Или наоборот, страница открыта, но содержит noindex, оставшийся от тестового периода. Оба случая дают одинаковый результат: URL висит в карте, но в индексе его нет.

Отдельно проверьте, не противоречат ли сигналы друг другу. Если страница закрыта в robots.txt, а в карте указана, Google не сможет прочитать noindex на ней и может сохранить URL в индексе как пустой. Это хуже, чем просто исключить адрес из карты.

Ошибка 2: в карте лежат редиректы, 404 и дубли

В карте должны быть только канонические адреса с кодом ответа 200. Всё остальное тратит краулинговый бюджет и путает робота.

Что делать, если в карте сайта указаны страницы с noindex или редиректами: уберите такие URL. Страницы с noindex не попадут в индекс, а редиректы расходуют краулинговый бюджет, который мог бы уйти на реальные страницы. Если страница временно закрыта, лучше не добавлять её до открытия, иначе Google пометит её как исключённую и вернётся к ней не скоро.

Дубли - отдельная категория. Интернет-магазины часто отдают один товар по нескольким адресам: с параметрами сортировки, с GET-параметрами фильтров, с разным регистром. Если все эти варианты попали в карту, робот тратит время на обход копий. В карте должен быть один адрес товара.

Ошибка 3: превышены лимиты файла

Один файл sitemap.xml может содержать до 50 000 URL и весить не больше 50 МБ в несжатом виде. Если сайт крупнее, карту разбивают на несколько файлов и объединяют через индексную карту (sitemap index). В robots.txt можно указать путь к индексной карте, чтобы Google нашёл все части.

Признаки, что вы упёрлись в лимит: часть страниц не появляется в отчёте GSC, файл открывается медленно или отдаёт ошибку таймаута, генератор карты падает при построении. Решение одно: разбивать на части по логическим разделам, например товары, статьи, категории, и собирать их индексным файлом.

Индексная карта - это XML-файл, который содержит ссылки не на страницы, а на другие карты. Google обходит её как обычную карту и последовательно читает каждую часть. Этот подход удобен и для сайтов с несколькими поддоменами: у каждого поддомена своя карта, а индексная собирает их в одном месте.

Ошибка 4: карта не там, где её ищут

Разместите файл в корне домена, например https://example.com/sitemap.xml, чтобы Google мог найти его по стандартному пути. Дополнительно укажите адрес в robots.txt строкой Sitemap: и добавьте в Search Console. Для сайтов с несколькими поддоменами или разделами используйте отдельные карты и индексный файл.

Если карта лежит по нестандартному адресу, например в подпапке или с другим именем, Google не узнает о ней автоматически. Указание в robots.txt решает проблему, но саму строку легко забыть при переезде сайта или смене CMS.

Ещё одна ошибка - карта отдаёт неверный Content-Type или требует авторизации. Файл должен быть доступен анонимно и отдаваться как XML. Если сервер закрывает доступ по IP или требует cookie, робот получит ошибку и карта не обработается.

Ошибка 5: карта есть, но контент не тянет на индекс

Даже идеально собранная карта не поможет, если страницы не представляют ценности для поиска. Тонкие и дублирующиеся страницы часто остаются в статусе «Обнаружено, не проиндексировано». Это не ошибка карты, а сигнал о качестве контента.

Типичные причины:

• Страница-заглушка с парой абзацев и без уникальной информации.
• Страницы фильтров, которые отличаются только параметрами.
• Автоматически сгенерированные страницы без реального содержимого.
• Дубли основного текста с незначительными правками.

Google в таких случаях выбирает, что индексировать, и оставляет только часть. Ускорить процесс можно, объединив слабые страницы в одну сильную или закрыв их от индексации и убрав из карты. Добавлять в sitemap всё подряд, «чтобы проиндексировалось», не работает: карта не повышает ценность страницы.

Как проверить карту и найти ошибки

Добавьте карту в Google Search Console в разделе «Файлы Sitemap» и посмотрите статус обработки. Для каждой карты GSC показывает число обнаруженных страниц и ошибки: неверный формат, недопустимые теги, битые ссылки. Дополнительно проверьте XML-валидатором и убедитесь, что все URL возвращают код 200.

Практический порядок проверки:

1. Откройте карту в браузере и убедитесь, что она отдаётся без ошибок.
2. Прогоните файл через XML-валидатор и проверьте структуру тегов.
3. Возьмите выборку URL из карты и проверьте коды ответа сканером.
4. Сверьте статусы в отчёте «Страницы» в GSC: сколько URL из карты в индексе, сколько исключено.
5. Найдите пересечение: адреса из карты, которые помечены как исключённые, и разберите причину по каждому.

Полезно вести такую проверку регулярно, а не разово. Карта обновляется вместе с сайтом, и ошибки появляются вместе с новыми страницами. Автоматизация проверки экономит время: достаточно настроить регулярный обход карты и сравнение кодов ответа.

Как выглядит правильная карта сайта

Правильная xml карта сайта содержит только канонические URL с кодом 200, актуальную дату последнего изменения и, при необходимости, приоритет и частоту обновления. Приоритет и частота - подсказки, а не команды: Google учитывает их слабо, но они не мешают.

Карта сайта пример для небольшого проекта выглядит так: один файл sitemap.xml в корне, в нём перечислены все значимые страницы, каждая с датой lastmod. В robots.txt есть строка Sitemap с полным адресом. Файл добавлен в Search Console, статус - «Успешно обработано».

Для крупных проектов структура другая: индексная карта плюс несколько тематических карт. Так проще обновлять: меняется раздел товаров - пересобирается только его карта, остальные не трогаются.

Карта сайта на популярных CMS

На wordpress карта сайта обычно генерируется плагином. Yoast SEO карта сайта создаётся автоматически по адресу /sitemap_index.xml, и её не нужно собирать вручную. Плагин сам разбивает карту по типам контента: записи, страницы, таксономии. Проблема возникает, когда в карту попадают служебные страницы или архивы, которые не должны индексироваться.

В wp карта сайта может конфликтовать с кэширующими плагинами: файл отдаётся из кэша и не обновляется после публикации новых записей. Проверяйте, обновляется ли lastmod у свежих страниц. Если нет, исключите карту из кэширования.

Для opencart карта сайта часто генерируется модулем или встроенным инструментом. Основная ошибка здесь - попадание в карту товаров с параметрами сортировки и фильтров. Настройте генератор так, чтобы в карту шли только чистые URL категорий и товаров.

Следующий шаг

Начните с одного действия: откройте Google Search Console, раздел «Файлы Sitemap», и сверьте статус обработки с отчётом «Страницы». Найдите адреса из карты, которые исключены из индекса, и разберите причину по каждому. Если сайтов и проектов несколько, а проверять их вручную долго, автоматизируйте регулярный обход карт и сверку кодов ответа - это одна из задач, которую закрывают рекламные операции для агентств.

FAQ

Почему страницы не попадают в индекс, если карта сайта создана?

Наличие карты сайта не гарантирует индексацию. Google может проигнорировать URL, если страница закрыта в robots.txt, отдаёт 404 или 301, содержит noindex или canonical на другой адрес. Также важна ценность контента: тонкие и дублирующиеся страницы часто остаются в статусе «Обнаружено, не проиндексировано». Карта лишь помогает роботу найти адрес, но не влияет на решение о включении в индекс.

Какой лимит по количеству URL и размеру файла у карты сайта?

Один файл sitemap.xml может содержать до 50 000 URL и весить не больше 50 МБ в несжатом виде. Если сайт крупнее, карту разбивают на несколько файлов и объединяют через индексную карту (sitemap index). В robots.txt можно указать путь к индексной карте, чтобы Google нашёл все части. Это стандартные лимиты протокола sitemap.

Как проверить, что карта сайта читается и не содержит ошибок?

Добавьте карту в Google Search Console в разделе «Файлы Sitemap» и посмотрите статус обработки. Для каждой карты GSC показывает число обнаруженных страниц и ошибки: неверный формат, недопустимые теги, битые ссылки. Дополнительно проверьте XML-валидатором и убедитесь, что все URL возвращают код 200. Регулярная сверка с отчётом «Страницы» покажет, какие адреса исключены и почему.

Где должна находиться карта сайта и как её правильно указать?

Разместите файл в корне домена, например https://example.com/sitemap.xml, чтобы Google мог найти его по стандартному пути. Дополнительно укажите адрес в robots.txt строкой Sitemap: и добавьте в Search Console. Для сайтов с несколькими поддоменами или разделами используйте отдельные карты и индексный файл. Файл должен отдаваться анонимно и с корректным типом содержимого.

Что делать, если в карте сайта указаны страницы с noindex или редиректами?

Уберите такие URL из карты: страницы с noindex не попадут в индекс, а редиректы тратят краулинговый бюджет. Включайте только канонические адреса с кодом 200, которые вы хотите видеть в поиске. Если страница временно закрыта, лучше не добавлять её до открытия, иначе Google пометит её как исключённую и вернётся к ней не скоро.

Может ли карта сайта ускорить индексацию новых страниц?

Карта ускоряет обнаружение: робот узнаёт о новом URL быстрее, чем по внутренним ссылкам. Но индексация зависит от качества страницы, её уникальности и авторитета сайта. Для новых проектов карта помогает, но не заменяет работу над контентом и техническим состоянием сайта. Если вы ведёте платный трафик, полезно сверить, как он связан с органикой: UTM разметка, которая доходит до карточки в CRM.