Генератор llms.txt: как собрать файл за минуту и что поправить руками
статья · 8 мин чтения· Команда AISSE

Генератор llms.txt: как собрать файл за минуту и что поправить руками

Как работают генераторы llms.txt и чем они отличаются, по шагам — как устроен наш генератор, пример черновика до и после правки, типичные ошибки автоматически собранного файла, куда положить llms.txt и как проверить, что он открывается.

Генератор llms.txt собирает черновик файла автоматически: проходит по страницам сайта, берёт их заголовки и описания и раскладывает по разделам. Вручную на это уходит полчаса-час, генератор справляется за минуту.

Но «собрать» и «сделать хорошо» — разные вещи. Генератор не знает, какие страницы для вас главные, и переносит в файл всё, что нашёл, вместе с ошибками сайта. Ниже — как работают такие инструменты, как пользоваться нашим и что править в черновике.

Что такое llms.txt вообще, как устроен формат и читают ли его нейросети, мы разбирали в статье что такое llms.txt.

Как работают генераторы llms.txt

Все генераторы решают одну задачу — составить оглавление сайта в формате markdown. Различаются они тем, откуда берут страницы и кто пишет описания.

По карте сайта. Генератор читает sitemap.xml, открывает страницы из него и берёт с каждой заголовок и метаописание. Быстро и предсказуемо: в файл попадает то, что вы сами объявили поисковикам. Качество описаний — ровно как у ваших метатегов.

Обходом сайта. Генератор ходит по ссылкам, как поисковый робот. Подходит сайтам без карты, но может зацепить лишнее — страницы фильтров, сортировки, служебные разделы.

С нейросетью. Генератор прочитывает страницы и пишет описания сам. Тексты получаются живее, чем метаописания, но их обязательно нужно проверять: модель может приписать странице то, чего на ней нет.

Плагины CMS. У некоторых SEO-плагинов появилась функция llms.txt — например, у Yoast SEO для WordPress. Удобно тем, что файл обновляется вместе с сайтом, но настроек обычно немного.

Какой llms txt generator ни выбрать, на выходе будет черновик. Чем лучше заполнены заголовки и описания страниц на сайте, тем меньше его придётся править.

Как пользоваться генератором AISSE

Наш генератор llms.txt работает по карте сайта. По шагам:

  1. Введите адрес сайта и запустите сборку.
  2. Генератор открывает главную страницу и берёт из неё название сайта и описание — они станут заголовком файла и вводной цитатой.
  3. Находит карту сайта: по строке Sitemap в robots.txt, а если её нет — по адресу /sitemap.xml.
  4. Отбрасывает адреса, закрытые в robots.txt, и файлы — картинки, документы, архивы.
  5. Открывает до 60 страниц и с каждой берёт заголовок и метаописание.
  6. Группирует страницы по разделам — по первой части адреса: всё, что начинается с /catalog/, попадёт в один раздел, с /blog/ — в другой. В каждом разделе до 20 ссылок, разделы с большим числом страниц идут выше.
  7. Показывает готовый файл на странице и даёт скачать его как llms.txt.

Если сайт закрыт от автоматического чтения — защита от ботов, ошибка доступа, — генератор так и скажет. Это само по себе полезный сигнал: в ту же стену упрутся и роботы нейросетей.

Как генератор собирает llms.txt
Как генератор собирает llms.txt

Черновик до и после правки

Вот как обычно выглядит фрагмент, который отдаёт генератор для небольшого магазина:

# Магазин посуды — купить посуду в Москве недорого

> Интернет-магазин посуды. Доставка по Москве и России.

## Catalog
- [Сковороды — купить в Москве](https://example.ru/catalog/skovorody): Большой выбор сковород по низким ценам
- [Кастрюли — купить в Москве](https://example.ru/catalog/kastryuli): Большой выбор кастрюль по низким ценам
- [Страница 2](https://example.ru/catalog/?page=2)

## Info
- [Доставка](https://example.ru/info/dostavka)
- [Политика конфиденциальности](https://example.ru/info/privacy)

А вот он же после пятнадцати минут правки:

# Посудная лавка

> Интернет-магазин посуды для дома и кафе. Доставка по Москве в день заказа, по России — транспортными компаниями.

## Каталог
- [Сковороды](https://example.ru/catalog/skovorody): чугунные, алюминиевые, с антипригарным покрытием, для индукции
- [Кастрюли](https://example.ru/catalog/kastryuli): из нержавеющей стали и эмалированные, от 1 до 20 литров

## Покупателям
- [Доставка](https://example.ru/info/dostavka): сроки и стоимость по Москве и регионам
- [Возврат](https://example.ru/info/vozvrat): как вернуть товар в течение 14 дней

Что изменилось:

  • Заголовок — название магазина, а не SEO-строка с «купить недорого».
  • Вводная — что продаём, кому и как доставляем. Одна-две фразы по делу.
  • Разделы названы по-русски и по смыслу, а не по адресам.
  • Описания объясняют, что на странице, вместо одинаковых «большой выбор по низким ценам».
  • Лишнее убрано — страницы пагинации и политика конфиденциальности модели не нужны.
  • Добавлено важное — страница возврата, которую генератор не нашёл в первых 60 адресах.

Что поправить в любом сгенерированном файле

Независимо от инструмента, пройдитесь по черновику с этим списком:

  • Служебные страницы. Корзина, вход, личный кабинет, поиск, политика cookies — удалить.
  • Дубли. Одна и та же страница с метками или параметрами — оставить один адрес.
  • Пагинация и фильтры. Вторая, третья страница каталога, сортировки — удалить.
  • Пустые и одинаковые описания. Дописать коротко, что на странице.
  • Порядок. Главные разделы — наверх. То, что приносит деньги или отвечает на частые вопросы, важнее блога трёхлетней давности.
  • Пропущенное. Генератор ограничен числом страниц и тем, что есть в карте сайта. Проверьте, что в файле есть доставка, оплата, возврат, контакты и ключевые разделы каталога или услуг.
  • Размер. llms.txt — путеводитель, а не вторая карта сайта. Десятки ссылок, а не тысячи.

Если правок слишком много, это повод заглянуть не в файл, а в сайт: пустые метаописания и одинаковые заголовки мешают и обычному поиску.

Куда положить файл и как проверить

Файл должен лежать в корне сайта и открываться по адресу вида https://ваш-сайт.ru/llms.txt.

  • Свой сервер или хостинг. Загрузить файл в корневую папку сайта через файловый менеджер хостинга или по FTP.
  • CMS. В большинстве систем корень доступен через файловый менеджер в админке или через хостинг. Для WordPress есть плагины, которые отдают файл сами.
  • Конструкторы сайтов. Не везде можно положить произвольный файл в корень. Как быть с Тильдой, мы разбирали в статье о llms.txt.

После загрузки проверьте три вещи:

  1. Файл открывается в браузере по адресу /llms.txt и показывает текст, а не страницу сайта с ошибкой 404.
  2. Кириллица читается, а не превращается в набор символов. Нужна кодировка UTF-8.
  3. Файл не закрыт для роботов в robots.txt.

Всё это заодно проверяет бесплатная проверка видимости для ИИ: она смотрит, открывается ли llms.txt, и показывает, что ещё мешает нейросетям читать сайт.

Вывод и следующий шаг

Генератор llms.txt экономит время на сборке, но результат — черновик. Он повторяет то, что есть на сайте, вместе с пустыми описаниями, служебными страницами и SEO-заголовками. Пятнадцать минут правки превращают его в нормальный путеводитель: понятная вводная, разделы по смыслу, короткие описания, только нужные страницы.

Соберите черновик генератором llms.txt, поправьте по списку выше и положите в корень сайта. Генератор бесплатный и работает без регистрации.

Частые вопросы

Какой генератор llms.txt выбрать?

Если на сайте заполнены заголовки и метаописания — подойдёт генератор по карте сайта: он быстрый и предсказуемый. Если описания пустые, можно взять генератор с нейросетью, но его тексты нужно проверять.

Сколько страниц должно быть в llms.txt?

Столько, сколько нужно, чтобы описать главное: обычно от десяти до нескольких десятков. Это путеводитель, а не полный список адресов.

Почему генератор не нашёл часть страниц?

Генератор по карте сайта видит только то, что есть в sitemap.xml и не закрыто в robots.txt, и ограничен числом страниц. Недостающие важные страницы добавьте руками.

Можно ли оставить файл как есть, без правки?

Можно, но лучше хотя бы убрать служебные страницы и дописать пустые описания. Файл, похожий на свалку адресов, мало что объясняет.

Как часто пересобирать llms.txt?

Когда меняются важные разделы, услуги или адреса страниц. Для большинства сайтов это раз в несколько месяцев.

Делает ли генератор llms-full.txt?

Наш — нет: он собирает только оглавление. Полную версию с текстом страниц обычно делают отдельно и только для документации, где модели полезно прочитать всё целиком.

Читайте также

Ярлыки: Внедрение

Статья полезна?

Комментарии

Пока никто не написал. Будьте первым.

Написать комментарий

Комментарии выходят после проверки. Ссылки на другие сайты не пропускаем.

Читайте дальше

Проверьте на своём каталоге
Регистрация, загрузка каталога и первый осмысленный ответ — за один день.
Начать бесплатно Задать вопрос