Пилот на десять дней: как понять, работает ли поиск
Что подготовить до старта, какие цифры снять в первый день и по каким признакам через полторы недели принять решение.
Десять дней — короткий срок. Его хватает, чтобы увидеть поведение поиска на реальных запросах, но только если замер подготовлен заранее.
Что сделать до старта
Снять точку отсчёта. За две недели до пилота выпишите четыре числа: поисковых сессий, доля запросов без результатов, доля сессий с переходом в карточку, число заявок из поиска. Без них сравнивать будет не с чем.
Собрать эталонный набор. Двадцать-тридцать реальных запросов из отчёта, включая проблемные. Прогоните их по старому поиску и запишите результат.
Договориться о критерии. Один главный показатель и его целевое значение. «Стало лучше» решением не является.
Подготовить часть каталога. Не весь: одну-две ходовые категории с описаниями назначения и разобранными характеристиками.
Что смотреть в первые два дня
Не метрики, а технику:
- все ли позиции подгрузились;
- совпадает ли число товаров с ожидаемым;
- отдаёт ли поиск карточки с ценой и наличием;
- нет ли снятых с продажи позиций в выдаче;
- как выглядит выдача на мобильном.
Ошибки этой стадии портят все последующие цифры, поэтому чинить их надо сразу, а отсчёт метрик вести с третьего дня.
Что смотреть с третьего по восьмой
Три вещи ежедневно:
- Доля запросов без результатов. Главный показатель. Он должен падать.
- Новые формулировки в отчёте. Люди начинают писать длиннее, когда поиск понимает. Это признак, а не проблема.
- Явные промахи. Запросы, где выдача выглядит случайной. Их надо выписывать: это материал для правок.
Каждый второй день — двадцать минут на чтение отчёта. Больше не нужно.
Что решать на десятый день
Сравните с точкой отсчёта по трём вопросам:
Упала ли доля пустых выдач? Если да и заметно — основной эффект получен.
Выросла ли доля сессий с переходом в карточку? Это ближе к деньгам, чем первый показатель.
Появились ли заявки из поиска, которых не было? Самая честная проверка, но за десять дней их может быть мало для статистики.
Если первые два показателя улучшились, а третий неопределён из-за малого числа — это нормальный результат для короткого пилота, и решение принимается по первым двум.
Типичные ошибки пилота
- Нет замера до. Тогда любой результат обсуждаем и недоказуем.
- Весь каталог сразу. Половина позиций без описаний тянет качество вниз и портит вывод.
- Смена и поиска, и дизайна выдачи одновременно. Непонятно, что сработало.
- Пилот в нетипичный сезон. Новогодняя неделя ничего не говорит о марте.
- Оценка на глаз. Три запроса руководителя не набор.
Если пилот не показал улучшений
Прежде чем винить сервис, проверьте три вещи: подгрузился ли каталог целиком, есть ли у ходовых позиций описания назначения, и не измеряли ли вы неделю с нетипичным трафиком.
Диагностика запросов, где ничего не найдено — отчёт по запросам без результатов.
Вывод и следующий шаг
Пилот работает, когда есть замер до, один согласованный критерий и подготовленная часть каталога. Десяти дней хватает, чтобы увидеть изменение доли пустых выдач и глубины сессии.
Следующий шаг: сегодня же выгрузите из аналитики четыре числа за прошлые две недели. Это тот замер, без которого пилот превращается в разговор о вкусах.
Частые вопросы
Хватит ли десяти дней?
Хватит на долю пустых выдач и глубину сессии. На заявки часто нет: их слишком мало для короткого окна.
Сколько каталога подключать?
Одну-две ходовые категории с описаниями. Весь каталог без подготовки даст заниженный результат.
Кто должен вести пилот?
Человек, который знает товар и умеет читать отчёты. Не обязательно разработчик.
Что если трафик маленький?
Продлите окно или оценивайте по эталонному набору запросов, а не по статистике.
Надо ли предупреждать посетителей?
Не надо. Поиск должен просто работать лучше.
Как понять, что дело в данных, а не в сервисе?
Проверьте выдачу по позициям с описаниями и без них. Разница между ними и есть вклад данных.