llms.txt: навіщо сайту цей файл і що в нього писати

Розбираємо, що таке llms.txt, чим він відрізняється від sitemap.xml і robots.txt. Дізнаєтесь, як створити файл, скільки посилань додавати та де його розмістити.

Редакція ADS BeastОпубліковано Оновлено 10 хв читання

Статтю підготовлено за допомогою ШІ. За її зміст відповідає редакція ADS Beast.

Файл llms.txt — це простий текстовий документ у корені сайту, який допомагає штучному інтелекту швидко зрозуміти структуру та головний вміст ресурсу. Він містить назву сайту, короткий опис і добірку найважливіших посилань. Розмістивши його, ви даєте великим мовним моделям (LLM) зрозумілу карту вашого контенту, яка може підвищити точність їхніх відповідей про ваш бренд або продукти.

Коротко

  • llms.txt — це текстовий файл, створений для великих мовних моделей, а не для пошукових ботів.
  • Він не замінює sitemap.xml або robots.txt, а доповнює їх, надаючи ШІ стислий і структурований огляд сайту.
  • Файл зазвичай розміщують у кореневому каталозі домену за адресою https://вашсайт.com/llms.txt.
  • Обмеження на кількість посилань у специфікації немає, але короткий список найцінніших сторінок корисніший за довгий.
  • Структура файлу проста: назва сайту, короткий опис і список посилань у форматі Markdown.
Як створити llms.txt: п'ять кроків. Відкрийте редактор: Звичайний текстовий файл у кодуванні UTF-8; Додайте назву й опис: Заголовок H1 і 2-3 речення про сайт; Складіть список посилань: Найважливіші сторінки з короткими примітками; Збережіть як llms.txt: Точне ім'я файлу, розширення .txt; Завантажте

Що таке llms.txt і як він впливає на відповіді ШІ

llms.txt — це ініціатива, яку у вересні 2024 року запропонував Джеремі Говард (llmstxt.org) як стандарт для надання контексту великим мовним моделям. Коли чат-бот або ШІ-асистент отримує запит про вашу компанію, він може звернутися до цього файлу, щоб отримати точну та релевантну інформацію замість того, щоб аналізувати весь сайт. Обов'язку читати файл у розробників моделей немає: Google, наприклад, зазначає, що для його ШІ-функцій окремі файли для ШІ створювати не потрібно (Google Search Central).

Це особливо важливо, оскільки моделі не завжди мають доступ до повного вмісту вашого ресурсу. Вони покладаються на індексовані дані, які можуть бути застарілими або неповними. Файл llms.txt дає змогу підказати, яку саме інформацію ШІ варто побачити в першу чергу.

На практиці це означає, що ви можете виділити ключові сторінки: про послуги, ціни, контакти, умови співпраці. Модель, отримавши цей структурований список, з більшою ймовірністю дасть користувачеві правильну відповідь про ваш бізнес. Так ви впливаєте на те, як вас бачать клієнти, які використовують ШІ для пошуку інформації.

Чим llms.txt відрізняється від sitemap.xml та robots.txt

Часто виникає плутанина між цими трьома файлами, хоча вони виконують різні завдання. Щоб зрозуміти різницю, варто розглянути, для кого призначений кожен із них.

sitemap.xml створений для пошукових ботів Google та Bing. Він містить повний перелік URL-адрес сайту, щоб пошукові системи могли ефективно їх індексувати. Це технічна карта для сканування.

robots.txt також призначений для пошукових ботів, але виконує протилежну функцію. Він вказує, які частини сайту сканувати заборонено або дозволено. Це набір технічних директив.

llms.txt, навпаки, орієнтований на великі мовні моделі. Він не містить технічних вказівок, а надає людинозрозумілий опис контенту з пріоритетними посиланнями. Його мета — допомогти ШІ відповідати точніше, а не просто знаходити сторінки.

Характеристикаsitemap.xmlrobots.txtllms.txt
Цільова аудиторіяПошукові ботиПошукові ботиВеликі мовні моделі (LLM)
Головна метаІндексація всіх сторінокКонтроль доступу до частин сайтуНадання стислого опису та ключових посилань
ФорматXMLТекст з директивамиТекст з Markdown-посиланнями
ВмістПовний список URLПравила для сканерівОпис сайту та пріоритетні URL
РезультатШвидке знаходження сторінокЗахист від скануванняТочніші відповіді ШІ про бізнес

Ці файли не конкурують між собою. Вони працюють разом, вирішуючи різні завдання. Наявність усіх трьох є ознакою технічно зрілого сайту.

Як створити файл llms.txt: покрокова інструкція

Створення файлу не потребує спеціальних знань або програм. Ви можете зробити це у звичайному текстовому редакторі.

  1. Відкрийте текстовий редактор. Підійде «Блокнот» на Windows або TextEdit на macOS. Важливо зберегти файл у форматі UTF-8 без BOM, щоб уникнути проблем із кодуванням.
  2. Додайте заголовок. Перший рядок має містити назву вашого сайту у форматі Markdown-заголовка. Наприклад, # Магазин «Затишок».
  3. Напишіть опис. Додайте цитату (рядок починається з >) із 2-3 реченнями, які стисло описують, чим займається ваш сайт, для кого він і яку проблему вирішує. Цей опис модель використає для розуміння контексту.
  4. Сформуйте список посилань. Використовуйте списки Markdown під заголовками другого рівня: - [назва](URL): коротка примітка. Кожне посилання має бути на новому рядку.
  5. Відберіть найважливіші сторінки. Це мають бути сторінки, які дають повне уявлення про ваш контент: головна, про послуги, про компанію, контакти, блог або ключові категорії товарів.
  6. Збережіть файл з точним ім'ям llms.txt. Розширення .txt є обов'язковим.
  7. Завантажте файл у кореневий каталог вашого домену через FTP, файловий менеджер хостингу або панель керування.

Після завантаження перевірте доступність файлу, перейшовши за адресою https://вашсайт.com/llms.txt. Ви маєте побачити вміст файлу у браузері.

Що саме писати у файлі: структура та приклади

Чітка структура файлу допомагає моделі швидше обробити інформацію. Не варто ускладнювати, дотримуйтесь простої логіки.

Спершу йде назва сайту. Потім — опис, який відповідає на питання «що це за ресурс». Після опису — список основних розділів. Це може бути перелік сторінок послуг, категорій товарів або ключових статей блогу. Кожне посилання супроводжується зрозумілим текстом-якорем.

Ось приклад для невеликого інтернет-магазину. У файлі перед цим блоком стоїть рядок із назвою (# Магазин «Затишок»), а списки посилань у повному файлі групують під заголовками другого рівня:

> Інтернет-магазин товарів для дому з доставкою по Україні.

Нижче зібрано сторінки, які найточніше описують асортимент, умови та контакти.

- [Головна](https://example.com/): що продає магазин і для кого
- [Каталог](https://example.com/catalog): категорії товарів із цінами
- [Доставка й оплата](https://example.com/delivery): терміни, вартість і способи оплати
- [Повернення](https://example.com/returns): умови обміну та повернення
- [Блог](https://example.com/blog): поради з вибору та догляду
- [Контакти](https://example.com/contacts): телефон, адреса, графік роботи

Не додавайте посилання на сторінки з обмеженим доступом, які вимагають авторизації. Модель не зможе їх прочитати. Також уникайте посилань на тимчасові або службові сторінки, які не несуть корисної інформації для користувача. Пам'ятайте, що мета — дати моделі стислий огляд, а не повну карту сайту.

Скільки посилань додавати та як їх відібрати

Кількість посилань залежить від розміру вашого сайту, а специфікація її не обмежує. Невеликому ресурсу вистачить кількох посилань. Великий портал або інтернет-магазин може додати більше, але лише на ключові категорії, а не на кожну сторінку товару.

Головний критерій відбору — цінність сторінки для розуміння вашого бізнесу. Поставте собі питання: якщо ШІ прочитає лише ці сторінки, чи зможе він точно відповісти на питання клієнта про ваші послуги?

Відповідь буде ствердною, якщо у списку є сторінки, які описують:

  • Основні продукти або послуги. Це ядро вашого бізнесу.
  • Інформацію про компанію. Історія, місія, команда, експертиза.
  • Ціни або умови співпраці. Конкретні цифри та умови, які шукають клієнти.
  • Контактну інформацію. Як і де з вами зв'язатися.
  • Експертний контент. Корисні статті, які демонструють ваш рівень знань.

Для інтернет-магазину це будуть сторінки категорій, а не окремі товари. Для блогу — основні рубрики або найпопулярніші статті. Для сайту послуг — сторінки з описом кожної послуги.

Як перевірити, чи файл працює правильно

Після створення та завантаження файлу варто провести кілька простих перевірок. Це займе не більше кількох хвилин.

Спершу відкрийте файл у браузері за адресою https://вашсайт.com/llms.txt. Якщо ви бачите текст, а не помилку 404, файл доступний. Зверніть увагу на код відповіді сервера. Він має бути 200. Якщо ви бачите помилку, перевірте, чи правильно ви завантажили файл у кореневий каталог.

Далі перевірте, чи всі посилання у файлі ведуть на робочі сторінки. Биті посилання ведуть модель у глухий кут. Також переконайтеся, що жодне посилання не веде на сторінку, яка вимагає авторизації.

Ось перелік того, що варто перевірити:

  • Файл доступний за адресою https://вашсайт.com/llms.txt без авторизації.
  • Сервер повертає код відповіді 200.
  • Файл збережено у кодуванні UTF-8 без BOM.
  • Усі посилання ведуть на робочі сторінки.
  • Структура файлу відповідає описаній вище логіці.
  • Опис сайту є стислим та інформативним.

Регулярно оновлюйте файл, коли змінюється структура сайту або додаються нові ключові сторінки. Застарілий llms.txt може давати моделі неправильну інформацію, що призведе до неточних відповідей користувачам.

Чому точні відповіді ШІ важливі для бізнесу

Кількість людей, які використовують ШІ-асистентів для пошуку інформації про продукти та послуги, зростає. Вони ставлять питання ChatGPT, Gemini або Perplexity замість того, щоб вводити запити у пошукову систему. Якщо модель не має доступу до актуальної інформації про вашу компанію, вона може дати неточну або застарілу відповідь.

Це може коштувати вам клієнтів. Користувач, який отримав неправильну інформацію про ціну або наявність послуги, навряд чи звернеться до вас повторно. Файл llms.txt допомагає уникнути цієї проблеми, надаючи моделям перевірені дані.

Те, як ШІ відповідає про ваш бренд, формує перше враження. Якщо відповіді точні та повні, це зміцнює довіру. Якщо ні — виникають сумніви у вашій експертності. Це особливо актуально для агентств та компаній, що працюють у сфері послуг, де репутація відіграє вирішальну роль.

Що робити далі: від створення файлу до контролю репутації

Створення файлу llms.txt — це лише перший крок. Після його розміщення варто перевірити, як модель насправді відповідає на питання про вашу компанію. Це дасть змогу побачити, чи правильно вона інтерпретує надану інформацію, та виявити можливі прогалини.

Почніть із простих питань: чим займається компанія, які послуги надає, скільки коштує співпраця. Порівняйте відповіді з реальним станом справ. Якщо знайдете розбіжності, скоригуйте вміст файлу або структуру сайту.

Цей процес схожий на налаштування серверної передачі конверсій, де важлива точність даних для ухвалення рішень. Так само і тут: якість вхідних даних визначає якість результату. Якщо ви вже працюєте з аналітикою, вам буде легко зрозуміти цю логіку. Матеріал Серверна передача конверсій: як увімкнути без подвійного обліку показує, як точність вхідних даних впливає на рішення, і та сама логіка працює для ШІ.

Пам'ятайте, що llms.txt не дає миттєвих гарантій. Моделі оновлюють свої знання з різною періодичністю. Але створення цього файлу — це стратегічний крок, який підвищує ваші шанси бути правильно зрозумілим ШІ вже зараз та у майбутньому.

Наступний крок — перевірити, що про вашу компанію говорять відповіді ШІ просто зараз. Це допоможе зрозуміти поточний стан справ та виявити проблеми, які потребують виправлення. Детальний алгоритм дій описано у матеріалі Що про компанію говорять відповіді ШІ: перевірка за 5 кроків. Виконайте цю перевірку до та після розміщення файлу, щоб побачити різницю.

Контролюйте якість даних, які ви передаєте назовні. Якщо ви налаштовуєте аналітику та бачите розбіжності у звітах, варто звернути увагу на Вікно атрибуції: чому той самий період дає різні цифри. Це допоможе вам краще розуміти, як різні системи інтерпретують одні й ті самі дані, та уникнути помилок в ухваленні рішень.

Подивитися, як це влаштовано в ADS Beast.