A/B-тесты для бедных: почему большинство малого бизнеса не может нормально тестировать сайты

Но разница в две заявки могла появиться случайно. Ещё неделя — и варианты поменялись бы местами. Такой «тест» не заменяет догадку данными, а лишь придаёт догадке солидный вид.

«Бедность» здесь означает дефицит данных: мало посетителей и конверсий.

Малому бизнесу часто не хватает данных для полноценного A/B-теста. Улучшать сайт всё равно можно, но бесконечное «поменяем кнопку и посмотрим» — медленный и дорогой способ изучать клиентов.

Настоящий A/B-тест сравнивает две версии одновременно

В классическом тесте посетителей случайно делят на две группы. 

Одна видит исходную страницу A, вторая — изменённую страницу B. Обе версии работают одновременно, а заранее выбранная метрика показывает, повлияло ли изменение на поведение людей.

Сравнение «в мае была старая страница, в июне поставили новую» A/B-тестом не считается. Между месяцами могли измениться спрос, реклама, цены и аудитория, поэтому результат нельзя уверенно приписать странице.

Трафик приходится делить, а конверсий и так мало

Представим страницу с конверсией 5%. 

Бизнес хочет понять, увеличит ли новая версия показатель до 6% — это рост на 20% относительно исходного результата. При уровне значимости 95% и статистической мощности 80% стандартный расчёт требует примерно по 8 200 посетителей на каждый вариант, то есть около 16 400 человек всего.

При 3 000 посещениях нужной страницы в месяц данные будут собираться примерно пять с половиной месяцев. Компании придётся всё это время не ломать эксперимент изменениями рекламы, цен, продукта и аналитики.

Расчёт иллюстративный: точный объём зависит от исходной конверсии, минимального эффекта, который нужно заметить, выбранной метрики и статистического метода. Калькулятор объёма выборки нужен до разработки варианта. После запуска уже поздно выяснять, достаточно ли трафика.

Статистическая мощность показывает, сможет ли тест заметить реальное улучшение. 

При малом трафике разница тонет в случайных колебаниях: результата приходится ждать месяцами или останавливать тест с ответом, которому нельзя доверять.

Сайт с 20 000 визитов ещё не обязательно готов к тестам

Общая посещаемость мало говорит о возможности эксперимента. В расчёт входят только люди на тестируемой странице. Затем трафик делится между вариантами, а целевых действий оказывается ещё меньше.

У магазина может быть 20 000 визитов в месяц, но нужную категорию увидят 2 000 человек, до корзины дойдут 120, а купят 25. Покупки будут копиться медленно. Клики по кнопке наберутся быстрее, но их рост ещё не обещает выручку.

Поэтому мы смотрим на всю воронку. 

В нашем проекте со сквозной аналитикой кампании казались прибыльными по выручке, пока в расчёт не добавили комиссии за способы оплаты. Точно так же вариант страницы может собрать больше форм, но привести меньше подходящих клиентов.

Четыре ошибки превращают тест в генератор случайных победителей

Останавливать тест, когда понравилась цифра. Конверсия колеблется каждый день. Если проверять результат утром и вечером, рано или поздно один вариант случайно вырвется вперёд. Остановка в этот момент закрепляет удачный шум.

Запускать пять вариантов сразу. Каждый вариант забирает часть трафика. Для небольшого сайта A/B/C/D-тест обычно означает, что ответ не появится вовремя.

Тестировать мелочь. Чем слабее ожидаемый эффект, тем больше нужна выборка. Оттенки кнопки — роскошь для площадки с большим потоком пользователей.

Выбирать удобную метрику. Клики и добавления в корзину встречаются чаще продаж, поэтому по ним проще получить результат. Но рост промежуточного действия ещё не доказывает рост прибыли. Такие метрики полезны только вместе с контролем качества заявок, заказов и денег.

Что делать вместо бесконечной смены кнопок

Нехватка данных отменяет конкретный метод, но не работу над конверсией. Большинство проблем сайта можно найти до A/B-теста.

Записи сессий и интервью не покажут точный прирост конверсии. Зато объяснят, почему человек не видит цену, не доверяет срокам или бросает форму. Такая опора сильнее догадки о цвете кнопки.

В статье о росте конверсии сайта мы собрали базовую диагностику страниц. Отдельно разобрали первый экран: оффер, доказательства и понятный следующий шаг обычно заслуживают внимания раньше, чем цвет элемента.

При малом трафике нужно тестировать крупнее и реже

Если эксперимент всё же возможен, лучше проверить изменение, способное повлиять на решение: другой оффер, состав тарифа, условия доставки, короткую форму вместо длинной или новый сценарий заказа. Большой вариант не объяснит вклад каждого пикселя, зато у него выше шанс дать заметный бизнес-эффект.

Перед запуском достаточно письменно ответить на семь вопросов:

1. Какую проблему пользователя подтверждают данные или разговоры с клиентами?

2. Что именно меняется и почему это должно повлиять на поведение?

3. Какая одна метрика определит результат?

4. Какие показатели нельзя ухудшить: качество лида, средний чек, маржу?

5. Сколько посетителей нужно каждому варианту?

6. Сколько недель займёт набор этой выборки при текущем трафике?

7. Какое решение команда примет при победе, поражении или отсутствии разницы?

Если на пятый и шестой вопросы нет ответа, разработку начинать рано. Если расчёт показывает полгода ради нового текста на кнопке, тест не становится умнее от красивого дашборда.

Иногда честнее внедрить улучшение без A/B-теста

Сломанная форма, отсутствующая цена, нечитаемая мобильная версия и скрытые условия доставки не требуют разрешения статистики. Их нужно исправить, проверить технически и следить, не ухудшились ли заявки и продажи.

Для спорного и дорогого решения A/B-тест остаётся сильным инструментом — когда хватает трафика, аналитика работает, а команда заранее определила правила. Во всех остальных случаях полезнее вложиться в исследование клиентов, устранение явных барьеров и привлечение аудитории.

Мы начинаем не с варианта B, а с вопроса, где бизнес теряет деньги: в рекламе, на странице, в форме или после заявки. Если нужна такая диагностика, можно оставить заявку на бесплатный аудит.