llms.txt: что писать в файл для ИИ и зачем он сайту
Разбираемся, что такое llms.txt: как файл помогает ИИ-ассистентам понимать сайт, чем отличается от sitemap.xml и что в него писать.
Редакция ADS BeastОпубликовано Обновлено 9 мин чтения
Статья подготовлена с помощью ИИ. За её содержание отвечает редакция ADS Beast.
llms.txt — это текстовый файл в корне сайта, который в понятном для больших языковых моделей виде описывает структуру ресурса: название, краткую аннотацию и список ключевых страниц с пояснениями. Он нужен, чтобы чат-боты и ИИ-ассистенты при ответах на вопросы пользователей точнее использовали данные с вашего сайта и реже ссылались на несуществующие страницы.
Коротко
- llms.txt — это файл-инструкция для языковых моделей (LLM), а не для поисковых роботов.
- Формат предложил Джереми Говард в 2024 году как открытое предложение, а не обязательный стандарт.
- В файл включают только самые важные страницы с короткими пояснениями; лимита на число ссылок в спецификации нет, но нескольких десятков обычно достаточно.
- llms.txt не заменяет sitemap.xml и микроразметку Schema.org, он дополняет их для другого типа потребителей.
- Базовый файл собирается быстро, если структура сайта уже понятна.
Что такое llms.txt и как он работает
llms.txt — это обычный текстовый файл, размещаемый в корневой директории сайта (например, https://ваш-сайт.ru/llms.txt). Формат предложил сооснователь fast.ai Джереми Говард в сентябре 2024 года (llmstxt.org). Его цель — дать языковым моделям структурированную выжимку о сайте, чтобы они не ползали по всем страницам в поисках нужного контента.
Спецификация описывает три ключевых элемента файла:
- H1 — название сайта, строка начинается с символа
#. - Блок summary — краткое описание ресурса в 2–3 предложениях после маркера
>. - Списки ссылок под заголовками второго уровня: строки вида
- [название](URL): пояснение, где после ссылки через двоеточие идёт короткая заметка. Обязателен из всего этого только заголовок H1.
Когда ИИ-ассистент получает вопрос, он может сначала загрузить файл llms.txt, чтобы понять, какие разделы сайта существуют и где искать ответ. Задумка в том, что вместо догадок о структуре сайта у модели есть готовая карта. Гарантии, что конкретный ассистент прочитает файл, нет: Google, например, пишет, что для показа в его ИИ-функциях отдельные файлы для ИИ создавать не нужно (Google Search Central).
Чем llms.txt отличается от sitemap.xml и robots.txt
Sitemap.xml и robots.txt созданы для поисковых роботов, llms.txt — для больших языковых моделей. Разница в цели и формате данных.
| Критерий | sitemap.xml | robots.txt | llms.txt |
|---|---|---|---|
| Для кого | Поисковые роботы (Google, Яндекс) | Поисковые роботы | Языковые модели и ИИ-ассистенты |
| Назначение | Перечислить все URL для индексации | Задать правила доступа к разделам | Описать структуру и ключевые страницы сайта |
| Формат | XML с тегами | Текстовые директивы | Markdown с пояснениями |
| Объём | Может содержать тысячи URL | Обычно короткий | Короткий список самых важных страниц |
| Содержание строк | Только URL и дата изменения | Правила для User-agent | Описание и URL, понятные человеку и модели |
Sitemap.xml сообщает поисковику, какие страницы нужно проиндексировать. Robots.txt говорит, какие разделы трогать нельзя. А llms.txt объясняет модели, что на сайте вообще есть и как это устроено. Если sitemap.xml можно представить как полный каталог склада, то llms.txt — это краткая инструкция для нового сотрудника: «вот ключевые отделы, вот что где лежит».
Что писать в llms.txt: структура и правила
Чтобы файл приносил пользу, его нужно заполнить по определённой схеме. Начните с заголовка, затем добавьте описание и только после этого перечисляйте ссылки.
# Название вашего сайта
> Краткое описание: чем занимается ресурс, для кого предназначен, какие ключевые темы раскрывает.
- [Главная](https://site.com/): что это за сайт и для кого он
- [Каталог](https://site.com/catalog): товары с ценами и фильтрами
- [Гид по Яндекс Директу](https://site.com/blog/yandex-direct-guide): как настроить первую кампанию
- [Контакты](https://site.com/contacts): адрес, телефон и форма обратной связи
Каждая строка списка содержит ссылку, а после двоеточия пояснение к ней. В полном файле такие списки группируют под заголовками второго уровня, например ## Каталог или ## Блог. Пояснение — это не просто название страницы, а указание на то, что именно там найдёт модель. Вместо «Каталог» напишите «Каталог товаров для дома с ценами и доставкой по Москве». Это помогает модели понять, когда стоит обращаться к этой странице.
При заполнении файла придерживайтесь нескольких принципов:
- Включайте только значимые страницы: главную, ключевые разделы, важные статьи. Не нужно перечислять каждую страницу блога или карточку товара.
- Указывайте приоритет: сначала главные разделы, затем второстепенные. Модель читает файл сверху вниз.
- Не используйте служебные страницы: политику конфиденциальности, страницы 404, служебные разделы для входа в админку.
- Обновляйте файл при изменении структуры сайта: добавили новый раздел, добавьте ссылку, удалили, уберите.
- Пишите описания на том языке, на котором написан контент страницы. Если сайт двуязычный, можно создать два файла в разных подпапках.
Как создать и проверить llms.txt
Создание файла — процесс ручной, но быстрый. Если структура сайта вам понятна, подготовка не займёт много времени. Порядок действий такой:
- Соберите список ключевых страниц. Определите разделы, которые описывают суть сайта: обычно хватает нескольких десятков. Посмотрите на sitemap.xml и выберите самые важные URL.
- Напишите заголовок и описание. H1 должен содержать название сайта, summary — 2–3 предложения о тематике и аудитории.
- Сформируйте список ссылок. Для каждой страницы напишите пояснение в 3–7 слов, которое отвечает на вопрос «что здесь найдёт модель?».
- Сохраните файл в формате UTF-8. Название файла — строго
llms.txt, без заглавных букв и пробелов. - Загрузите файл в корень сайта. Он должен быть доступен по адресу
https://ваш-сайт/llms.txt. - Проверьте доступность. Откройте URL в браузере или воспользуйтесь онлайн-валидаторами, которые проверяют синтаксис и структуру файла.
Самые частые ошибки при создании файла — это пропуск описания, неинформативные подписи к ссылкам и включение служебных страниц. Если написать - [О нас](https://site.com/about) вместо - [О компании](https://site.com/about): история, команда, контакты, модель получит минимум пользы из этой строки.
Почему llms.txt не заменяет Schema.org
Микроразметка Schema.org и llms.txt решают разные задачи и не конкурируют друг с другом. Schema.org передаёт поисковым системам данные о конкретных объектах: товарах, статьях, отзывах, ценах. Поисковики используют эту разметку для формирования расширенных сниппетов в выдаче.
llms.txt работает на другом уровне. Он не описывает отдельные объекты, а даёт модели общую картину сайта: какие разделы существуют, какова тематика, где искать определённую информацию. Если Schema.org — это паспорт каждого товара, то llms.txt — это карта всего магазина.
Эти форматы работают вместе. Сайт с качественной микроразметкой и корректным llms.txt лучше подготовлен и к поисковой выдаче, и к ответам ИИ-ассистентов. Один формат не отменяет другой, и наличие llms.txt не избавляет от необходимости настраивать Schema.org для интернет-магазина.
Как llms.txt влияет на репутацию и аналитику
Файл llms.txt становится частью цифровой инфраструктуры сайта, и его влияние выходит за рамки простой технической настройки. Если ИИ-ассистент использует ваш файл для ответа, у него меньше поводов искажать информацию о компании. Это особенно важно для брендов, которые следят за тем, что о компании говорят ответы ИИ.
Связь llms.txt с аналитикой менее очевидна, но она существует. Если чат-бот рекомендует ваш сайт как источник данных, трафик из ИИ-рекомендаций не всегда корректно учитывается в системах аналитики. Здесь возникают вопросы атрибуции: стандартные модели часто не видят визиты, которые начались с диалога с ассистентом. Понимание того, почему цифры в статистике разные и как работает окно атрибуции, помогает оценить реальный эффект от присутствия сайта в ответах ИИ.
Технически llms.txt не влияет на серверную передачу конверсий и не меняет настройки рекламных кабинетов. Но он формирует канал трафика, который нужно учитывать при анализе эффективности. Если вы видите всплеск прямых заходов без понятного источника, часть из них может приходить от ИИ-ассистентов, которые порекомендовали сайт.
Когда файл llms.txt не нужен
Не каждому сайту требуется llms.txt. Если ресурс небольшой и его структура очевидна, модель и без файла найдёт нужную информацию. То же касается сайтов, которые не публикуют уникальный контент: каталоги перепродавцов, агрегаторы чужих статей, сайты-визитки без информационных разделов.
Польза llms.txt появляется тогда, когда у сайта есть структура, которую сложно понять автоматически: много разделов, специфичная терминология, контент, разбросанный по поддоменам. В таких случаях файл помогает модели быстрее найти нужную страницу.
Не стоит создавать llms.txt и для сайтов с динамическим контентом, который меняется ежедневно. Файл быстро устареет, а модель будет опираться на неактуальные данные. В этом случае лучше оставить всё как есть и позволить модели самостоятельно анализировать страницы.
Что сделать прямо сейчас
Создайте файл llms.txt для вашего сайта. Начните с малого: возьмите 10–15 ключевых страниц, напишите к каждой пояснение в 3–7 слов и загрузите файл в корень. Проверьте доступность по прямой ссылке и обновите файл через неделю, добавив разделы, которые забыли.
После публикации файла проследите, как меняется трафик из ИИ-источников. Если вы ведёте платный трафик, важно отличать визиты от ассистентов в общей картине. Для точного учёта конверсий из разных каналов используйте серверную передачу данных, чтобы избежать двойного счёта: настройте серверную передачу конверсий. Если же реклама не окупается и вы подозреваете, что часть кликов уходит на площадки с низким качеством трафика, проверьте отчёты по площадкам, на которых бюджет исчезает, и отключите неэффективные размещения.
Для агентств и специалистов, которые управляют рекламными кампаниями клиентов, настройка llms.txt — часть работы над репутацией бренда в ИИ-выдаче. Для рекламной части есть ADS Beast: кампании создаются на паузе, а запуск и изменения бюджета ждут вашего подтверждения.