llms.txt: что писать в файл для ИИ и зачем он сайту
Разбираемся, что такое llms.txt: как файл помогает ИИ-ассистентам понимать сайт, чем отличается от sitemap.xml и что писать, чтобы получить точные ответы.
Редакция ADS BeastОпубликовано Обновлено 9 мин чтения
llms.txt — это текстовый файл в корне сайта, который в понятном для больших языковых моделей виде описывает структуру ресурса: название, краткую аннотацию и список ключевых страниц с пояснениями. Он нужен, чтобы чат-боты и ИИ-ассистенты при ответах на вопросы пользователей точнее использовали данные с вашего сайта и реже ссылались на несуществующие страницы.
Коротко
- llms.txt — это файл-инструкция для языковых моделей (LLM), а не для поисковых роботов.
- Формат придумал Джереми Говард в 2024 году как открытую спецификацию, аналогичную robots.txt.
- В файл включают только самые важные страницы: 20–30 ссылок с короткими пояснениями достаточно.
- llms.txt не заменяет sitemap.xml и микроразметку Schema.org, он дополняет их для другого типа потребителей.
- Создание базового файла занимает 10–15 минут, если структура сайта уже понятна.
Что такое llms.txt и как он работает
llms.txt — это обычный текстовый файл, размещаемый в корневой директории сайта (например, https://ваш-сайт.ru/llms.txt). Формат предложил сооснователь fast.ai Джереми Говард в июне 2024 года. Его цель — дать языковым моделям структурированную выжимку о сайте, чтобы они не ползали по всем страницам в поисках нужного контента.
Спецификация описывает три ключевых элемента файла:
- H1 — название сайта, строка начинается с символа
#. - Блок summary — краткое описание ресурса в 2–3 предложениях после маркера
>. - Список ссылок — строки формата
Markdown: описание, где сначала идёт пояснение, а затем адрес страницы.
Когда ИИ-ассистент получает вопрос, он может сначала загрузить файл llms.txt, чтобы понять, какие разделы сайта существуют и где искать ответ. Это снижает нагрузку на модель и повышает точность ответов: вместо догадок о структуре сайта у модели есть готовая карта.
Чем llms.txt отличается от sitemap.xml и robots.txt
Sitemap.xml и robots.txt созданы для поисковых роботов, llms.txt — для больших языковых моделей. Разница в цели и формате данных.
| Критерий | sitemap.xml | robots.txt | llms.txt |
|---|---|---|---|
| Для кого | Поисковые роботы (Google, Яндекс) | Поисковые роботы | Языковые модели и ИИ-ассистенты |
| Назначение | Перечислить все URL для индексации | Задать правила доступа к разделам | Описать структуру и ключевые страницы сайта |
| Формат | XML с тегами | Текстовые директивы | Markdown с пояснениями |
| Объём | Может содержать тысячи URL | Обычно 5–20 строк | Рекомендуется 20–30 самых важных страниц |
| Содержание строк | Только URL и дата изменения | Правила для User-agent | Описание и URL, понятные человеку и модели |
Sitemap.xml сообщает поисковику, какие страницы нужно проиндексировать. Robots.txt говорит, какие разделы трогать нельзя. А llms.txt объясняет модели, что на сайте вообще есть и как это устроено. Если sitemap.xml можно представить как полный каталог склада, то llms.txt — это краткая инструкция для нового сотрудника: «вот ключевые отделы, вот что где лежит».
Что писать в llms.txt: структура и правила
Чтобы файл приносил пользу, его нужно заполнить по определённой схеме. Начните с заголовка, затем добавьте описание и только после этого перечисляйте ссылки.
# Название вашего сайта
> Краткое описание: чем занимается ресурс, для кого предназначен, какие ключевые темы раскрывает.
[Главная страница с описанием](https://site.com/)
[Каталог товаров с ценами и фильтрами](https://site.com/catalog)
[Статья о настройке рекламы в Яндекс.Директ](https://site.com/blog/yandex-direct-guide)
[Страница с контактами и формой обратной связи](https://site.com/contacts)
Каждая строка списка обязана содержать URL и пояснение к нему. Пояснение — это не просто название страницы, а указание на то, что именно там найдёт модель. Вместо «Каталог» напишите «Каталог товаров для дома с ценами и доставкой по Москве». Это помогает модели понять, когда стоит обращаться к этой странице.
При заполнении файла придерживайтесь нескольких принципов:
- Включайте только значимые страницы: главную, ключевые разделы, важные статьи. Не нужно перечислять каждую страницу блога или карточку товара.
- Указывайте приоритет: сначала главные разделы, затем второстепенные. Модель читает файл сверху вниз.
- Не используйте служебные страницы: политику конфиденциальности, страницы 404, служебные разделы для входа в админку.
- Обновляйте файл при изменении структуры сайта: добавили новый раздел, добавьте ссылку, удалили, уберите.
- Пишите описания на том языке, на котором написан контент страницы. Если сайт двуязычный, можно создать два файла в разных подпапках.
Как создать и проверить llms.txt
Создание файла — процесс ручной, но быстрый. Если структура сайта вам понятна, на подготовку уйдёт 10–15 минут. Порядок действий такой:
- Соберите список ключевых страниц. Определите 20–30 разделов, которые описывают суть сайта. Посмотрите на sitemap.xml и выберите самые важные URL.
- Напишите заголовок и описание. H1 должен содержать название сайта, summary — 2–3 предложения о тематике и аудитории.
- Сформируйте список ссылок. Для каждой страницы напишите пояснение в 3–7 слов, которое отвечает на вопрос «что здесь найдёт модель?».
- Сохраните файл в формате UTF-8. Название файла — строго
llms.txt, без заглавных букв и пробелов. - Загрузите файл в корень сайта. Он должен быть доступен по адресу
https://ваш-сайт/llms.txt. - Проверьте доступность. Откройте URL в браузере или воспользуйтесь онлайн-валидаторами, которые проверяют синтаксис и наличие обязательных полей.
Самые частые ошибки при создании файла — это пропуск описания, неинформативные подписи к ссылкам и включение служебных страниц. Если написать [О нас](https://site.com/about) вместо [Страница о компании: история, команда, контакты](https://site.com/about), модель получит минимум пользы из этой строки.
Почему llms.txt не заменяет Schema.org
Микроразметка Schema.org и llms.txt решают разные задачи и не конкурируют друг с другом. Schema.org передаёт поисковым системам данные о конкретных объектах: товарах, статьях, отзывах, ценах. Поисковики используют эту разметку для формирования расширенных сниппетов в выдаче.
llms.txt работает на другом уровне. Он не описывает отдельные объекты, а даёт модели общую картину сайта: какие разделы существуют, какова тематика, где искать определённую информацию. Если Schema.org — это паспорт каждого товара, то llms.txt — это карта всего магазина.
Эти форматы работают вместе. Сайт с качественной микроразметкой и корректным llms.txt получает преимущества и в поисковой выдаче, и в ответах ИИ-ассистентов. Один формат не отменяет другой, и наличие llms.txt не избавляет от необходимости настраивать Schema.org для интернет-магазина.
Как llms.txt влияет на репутацию и аналитику
Файл llms.txt становится частью цифровой инфраструктуры сайта, и его влияние выходит за рамки простой технической настройки. Когда ИИ-ассистенты используют ваш файл для ответов, они реже искажают информацию о компании. Это особенно важно для брендов, которые следят за тем, что о компании говорят ответы ИИ.
Связь llms.txt с аналитикой менее очевидна, но она существует. Если чат-бот рекомендует ваш сайт как источник данных, трафик из ИИ-рекомендаций не всегда корректно учитывается в системах аналитики. Здесь возникают вопросы атрибуции: стандартные модели часто не видят визиты, которые начались с диалога с ассистентом. Понимание того, почему цифры в статистике разные и как работает окно атрибуции, помогает оценить реальный эффект от присутствия сайта в ответах ИИ.
Технически llms.txt не влияет на серверную передачу конверсий и не меняет настройки рекламных кабинетов. Но он формирует канал трафика, который нужно учитывать при анализе эффективности. Если вы видите всплеск прямых заходов без понятного источника, часть из них может приходить от ИИ-ассистентов, которые прочитали ваш llms.txt и порекомендовали сайт.
Когда файл llms.txt не нужен
Не каждому сайту требуется llms.txt. Если ресурс небольшой, до 50 страниц, и его структура очевидна, модель и без файла найдёт нужную информацию. То же касается сайтов, которые не публикуют уникальный контент: каталоги перепродавцов, агрегаторы чужих статей, сайты-визитки без информационных разделов.
Польза llms.txt появляется тогда, когда у сайта есть структура, которую сложно понять автоматически: много разделов, специфичная терминология, контент, разбросанный по поддоменам. В таких случаях файл экономит ресурсы модели и повышает шансы, что она сошлётся именно на вашу страницу.
Не стоит создавать llms.txt и для сайтов с динамическим контентом, который меняется ежедневно. Файл быстро устареет, а модель будет опираться на неактуальные данные. В этом случае лучше оставить всё как есть и позволить модели самостоятельно анализировать страницы.
Что сделать прямо сейчас
Создайте файл llms.txt для вашего сайта. Начните с малого: возьмите 10–15 ключевых страниц, напишите к каждой пояснение в 3–7 слов и загрузите файл в корень. Проверьте доступность по прямой ссылке и обновите файл через неделю, добавив разделы, которые забыли.
После публикации файла проследите, как меняется трафик из ИИ-источников. Если вы ведёте платный трафик, важно отличать визиты от ассистентов в общей картине. Для точного учёта конверсий из разных каналов используйте серверную передачу данных, чтобы избежать двойного счёта: настройте серверную передачу конверсий. Если же реклама не окупается и вы подозреваете, что часть кликов уходит на площадки с низким качеством трафика, проверьте отчёты по площадкам, на которых бюджет исчезает, и отключите неэффективные размещения.
Для агентств и специалистов, которые управляют рекламными кампаниями клиентов, настройка llms.txt — часть работы над репутацией бренда в ИИ-выдаче. Если вам нужна системная работа с рекламными операциями, обратите внимание на рекламные операции для агентств — сервис, который закрывает рутинные задачи по управлению кампаниями.
FAQ: частые вопросы про llms.txt
Что такое llms.txt и зачем он нужен сайту?
llms.txt — это текстовый файл в корне сайта с кратким описанием ресурса, ключевыми разделами и ссылками на страницы. Он помогает большим языковым моделям быстрее и точнее понимать структуру и содержание сайта, снижая количество ошибок при генерации ответов по данным с ресурса.
Как отличить llms.txt от sitemap.xml и robots.txt?
Sitemap.xml и robots.txt предназначены для поисковых роботов: первый перечисляет все URL для индексации, второй задаёт правила доступа. llms.txt создан для языковых моделей: он структурирует информацию о сайте в удобном для LLM формате с описаниями и приоритетами, а не просто перечисляет ссылки.
Что нужно писать в файл llms.txt, чтобы он был полезным?
В файл нужно добавить заголовок с названием сайта, краткое описание в 2–3 предложения о тематике и аудитории, а затем список ключевых URL с подписями. Каждая строка должна содержать URL и пояснение к нему, например: [Каталог товаров с ценами](https://site.com/catalog). Рекомендуется включать не более 20–30 самых важных страниц.
Сколько времени занимает создание llms.txt и как его проверить?
Создание базового файла занимает 10–15 минут, если структура сайта уже понятна. Проверить файл можно вручную через браузер, открыв https://ваш-сайт/llms.txt, либо с помощью онлайн-валидаторов, которые проверяют синтаксис и наличие обязательных полей: H1, summary, ссылок.
Почему llms.txt не заменяет микроразметку Schema.org?
Микроразметка Schema.org передаёт поисковым системам данные о конкретных объектах — товарах, статьях, отзывах, а llms.txt передаёт общую картину сайта языковым моделям. Эти форматы решают разные задачи: Schema.org улучшает сниппеты в Google, а llms.txt повышает качество ответов чат-ботов и ИИ-ассистентов. Они работают вместе, а не вместо друг друга.
Когда стоит обновлять llms.txt?
Обновляйте файл при каждом значительном изменении структуры сайта: добавлении нового раздела, удалении старого, переезде страниц на другие адреса. Если сайт обновляется еженедельно, заведите привычку проверять llms.txt раз в месяц.
Похожие материалы
- Что о компании говорят ответы ИИ: проверка репутации
- Окно атрибуции: почему цифры в статистике разные
Посмотреть, как это устроено в ADS Beast: llms.txt.