Проверили 76 русских магазинов: видит ли их ИИ-поисковик
статья · 7 мин чтения· Команда AISSE

Проверили 76 русских магазинов: видит ли их ИИ-поисковик

Прогнали 76 крупных российских магазинов через проверку видимости для ИИ. Треть сайтов робот не смог прочитать вообще. Ботов почти никто не банит — проблема в другом.

Когда человек спрашивает у ChatGPT или Алисы «где купить перфоратор недорого», модель отвечает не из воздуха. Она отвечает по тем сайтам, которые смогла прочитать. Мы решили выяснить, сколько крупных русских магазинов в этот список вообще попадает, и прогнали 76 сайтов через нашу проверку видимости для ИИ.

Результат оказался не там, где мы его искали.

Что мы считали

Проверка смотрит восемь вещей: есть ли robots.txt, пускает ли он десять ботов ИИ-поисковиков, есть ли на главной разметка schema.org, виден ли текст без JavaScript, заполнены ли title и description, есть ли Open Graph, карта сайта и файл llms.txt. Каждая проверка весит по-разному — доступ ботам весит 30 баллов, Open Graph пять, — и в сумме выходит балл от 0 до 100.

Список — 76 заметных магазинов и B2B-каталогов разных ниш: маркетплейсы, стройка, спецтехника, автозапчасти, аптеки, продукты, одежда, зоотовары, канцелярия. Не выборка «по науке», а срез того, что видит покупатель в первой десятке выдачи.

Все цифры ниже перепроверяемы: та же проверка, тот же сайт, тот же результат.

Первое открытие: треть сайтов робот не смог прочитать

27 сайтов из 76 — это 36% — не дались вообще. Четырнадцать отдали защиту от ботов вместо страницы, тринадцать не открылись по таймауту или ошибке.

Это и есть главный результат, хотя мы шли не за ним. Магазин может сколько угодно заполнять описания и размечать карточки — если WAF отдаёт боту 403 или нестандартный код вместо контента, для ИИ-поисковика этого магазина не существует. Wildberries, Ozon, Мегамаркет, Ситилинк, Эльдорадо, Ламода, ВсеИнструменты — все они закрыты от автоматического чтения.

Оговорка честности ради: защита обычно фильтрует по репутации адреса и заголовкам, и крупный бот вроде GPTBot она может пропускать там, где заворачивает нас. Но проверить это со стороны нельзя — а значит, и владелец сайта не знает, что происходит. Ровно поэтому мы не стали считать таким сайтам балл: это была бы оценка не магазина, а его файрвола.

Если вы не знаете, как ваш сайт отвечает роботу, — это первое, что стоит выяснить. Не по описаниям товаров, а по заголовкам ответа.

Второе: ботов ИИ почти никто не банит

Мы ожидали увидеть массовые запреты в robots.txt — разговоров о том, что «ИИ ворует контент», в отрасли много. Их нет.

Из 48 сайтов, чей robots.txt удалось прочитать, GPTBot закрыт у одного. PerplexityBot, ClaudeBot, OAI-SearchBot, Google-Extended — ни у кого. Bingbot закрыт у трёх, и это почти наверняка не про ИИ, а старое решение «не тратить краулинговый бюджет на Bing» — которое сегодня заодно закрывает Copilot.

Полный список тех, у кого нашёлся хоть один запрет: «Петрович» (YandexBot, Bingbot), Rossko (Bingbot), Autodoc (GPTBot, CCBot), «Кант» (Bingbot, Applebot-Extended). Четыре сайта из 48.

Вывод неприятный своей простотой: дверь открыта почти у всех. Если магазина нет в ответах ИИ, дело не в запрете. Дело в том, что читать нечего.

Третье: читать действительно нечего

Вот здесь цифры начинают говорить.

Нет разметки schema.org на главной — 61% (25 из 41 проверенных). Без JSON-LD модель разбирает страницу по вёрстке и угадывает, что это за компания и чем она торгует. Угадывает она хуже, чем принято думать.

Нет файла llms.txt — 77% (36 из 47). Это молодой стандарт: одна текстовая страница, где сайт своими словами объясняет модели, что он такое и куда смотреть. Одиннадцать магазинов его уже написали — DNS, Hoff, OBI, «Лента», «ВкусВилл», «Читай-город», Befree, Rendez-Vous, «М.Видео», «Золотое яблоко», «СтройДвор». За полгода из экзотики он стал тем, что делают в первую очередь.

Не заполнены title или description — 41% (17 из 41). Это не про ИИ, это про базовое SEO, которому двадцать лет. В ответе модели вас просто нечем подписать.

Нет Open Graph — 51%. Нет карты сайта — 21%.

Текст не виден без JavaScript — 7% (3 из 41). Тут, наоборот, хорошая новость: страшилка про SPA, которую ИИ не прочитает, на практике встречается редко.

Забавное совпадение

DNS, Hoff, OBI и «Лента» набрали по 100 баллов — и при этом ни у одного из них нет schema.org на главной. Они написали llms.txt, самое новое и модное, но не разметили страницу разметкой, которой десять лет.

Так обычно и выглядит работа над видимостью: делают то, о чём недавно прочитали, а не то, что даёт больше.

Распределение

Из 49 сайтов, где балл считать было корректно:

  • 85 и выше — 22 сайта (45%)
  • 60–84 — 13 сайтов (27%)
  • ниже 60 — 14 сайтов (29%)

Медиана — 75. Средний балл — 74.

На дне (30 баллов) — Autodoc, «Перекрёсток», «Кант» и ТД «Холдинг». У «Перекрёстка» и «Канта» это тем обиднее, что запросы вроде «где заказать продукты с доставкой сегодня» и «какие лыжи взять новичку» — ровно те, которые люди теперь задают не поисковику, а модели.

Порядок исправлений: что отдаёт сайт роботу, разметка JSON-LD, title и description, llms.txt
Порядок исправлений: что отдаёт сайт роботу, разметка JSON-LD, title и description, llms.txt

Что с этим делать

По убыванию отдачи:

  1. Проверьте, что отдаёт ваш сайт роботу. Не браузеру — роботу. Если защита возвращает 403, остальные пункты не имеют значения.
  2. Разметьте главную и карточки JSON-LD. Organization на главную, Product с ценой и наличием на карточки. Это полдня работы и самая большая недостача в нашем срезе.
  3. Заполните title и description там, где их нет. Сорок процентов — это не мелочь, это половина каталога без подписи.
  4. Напишите llms.txt. Одна страница текста, собрать можно по sitemap за минуту.
  5. Проверьте robots.txt на старые запреты. Особенно Bingbot: закрыв его когда-то ради экономии, вы сегодня закрываете Copilot.

И отдельно — то, чего проверка не видит. Модель отвечает по тексту карточек. Если в описании написано «Артикул 45-221, серый», ИИ не сможет ответить, для чего эта позиция и кому подойдёт. Об этом мы писали подробнее в разборе что нужно сделать с каталогом и в статье про ИИ-поиск без большого бюджета.

Проверьте свой

Балл считается по тем же восьми проверкам, за минуту и без регистрации: видимость сайта для ИИ. Если окажется ниже 60 — там же написано, что чинить и в каком порядке.

А если после починки вы захотите, чтобы каталог отвечал на вопросы покупателей не только чужим моделям, но и прямо у вас на сайте, — посмотрите на своём каталоге, как это выглядит.

Срез будем повторять: интересно, как изменится доля llms.txt к весне.

Читайте также

Ярлыки: Обзоры

Статья полезна?

Комментарии

Пока никто не написал. Будьте первым.

Написать комментарий

Комментарии выходят после проверки. Ссылки на другие сайты не пропускаем.

Читайте дальше

Проверьте на своём каталоге
Регистрация, загрузка каталога и первый осмысленный ответ — за один день.
Начать бесплатно Задать вопрос