Когда A/B-тест имеет смысл — вопрос порога трафика

Три дня назад вы протестировали два варианта заголовка на сайте. Сегодня вариант B опережает A — вроде бы. Обрадовавшись, вы оставляете B и закрываете тест. Через неделю, взглянув на цифры заново, разница исчезла, а то и A снова впереди. Тест не ошибся — вы прочитали его раньше времени.

A/B-тест — мощный инструмент, но работает только при двух условиях: достаточно трафика и терпение дождаться результата. Если хотя бы одного не хватает, инструмент не даёт ответа — он просто оформляет случайность как официальную цифру. Дальше — почему так происходит и что делать, если трафика мало.

Почему ранний взгляд убивает сам тест

Смотреть на результат каждый день и остановиться, как только «B побеждает», — естественный инстинкт. Но расчёт статистической значимости предполагает заранее зафиксированный объём выборки. Согласно широко цитируемой статье Эвана Миллера, остановка теста в момент, когда после каждого наблюдения результат кажется «значимым», раздувает заявленную долю ложных срабатываний в 5% до реальных 26,1%. То есть объявленный «победитель с уверенностью 95%» на деле с вероятностью почти в четверть случаев — просто случайность.

Автор формулирует это прямо: ни один веб-эксперимент не должен запускаться без заранее зафиксированного объёма выборки, и этому решению нужно следовать «почти с религиозной дисциплиной». Ответ на вопрос «после скольких посетителей мы посмотрим результат» должен быть записан до старта теста, а не в его середине.

Что значит порог трафика

«Достаточно трафика» — не абстрактная фраза, а функция трёх конкретных величин: текущей конверсии, размера ожидаемой разницы и числа посетителей в день. По описанию статистической значимости у Optimizely, «большие выборки в целом дают более надёжные результаты» и «для тестов на сайте больше трафика означает более быстрый и точный результат». Универсальной цифры вроде «хватит тысячи посетителей» не существует, потому что ответ зависит от собственной конверсии каждого сайта.

Почему «победитель» при малом трафике часто ложный

У сайта с 300 посетителями в месяц недельный тест опирается на несколько десятков кликов. На такой выборке статистически «значимая» разница чаще всего оказывается обычным колебанием малых чисел — вроде выпадения орла два раза подряд при подбрасывании монеты. Если та же разница держится на выборке в тысячи наблюдений на крупном сайте, тогда она может быть настоящей.

Как правильно ставить вопрос

Вместо «сколько посетителей нужно» спросите: «за сколько недель я закрою тест при моей текущей конверсии, ожидаемой разнице и дневном трафике». Ответ часто оказывается «несколько месяцев» — и для многих малых бизнесов это нереальный бюджет времени.

Что говорит статистическая значимость, а что нет

Статистическая значимость не сообщает «B победит навсегда» — по определению Optimizely она измеряет «вероятность того, что разница в конверсии между вариантом и базовой версией не вызвана случайностью». Это оценка вероятности для прошедшего периода, а не гарантия на будущее. Классическая методология требует заранее задать минимальный обнаруживаемый эффект и объём выборки, а затем не смотреть на результат до конца — иначе заявленный уровень значимости попросту оказывается неверным, ведь повторная проверка результата всегда повышает долю ложных срабатываний.

Тест, закрытый раньше срока, не даёт ответа — он просто фиксирует случайность как официальную цифру.

Альтернатива при малом трафике: последовательные улучшения

Если трафика недостаточно для теста, это не значит, что сайт нельзя улучшать — вместо сплит-теста работает последовательное улучшение. Внедряйте изменения, опирающиеся на проверенные принципы UX (понятный призыв к действию, короткая форма, быстрая загрузка), и следите за трендом на длинном промежутке времени вместо поиска «доказательства» через сплит-тест. Тепловые карты, записи сессий и прямые вопросы клиентам при малом трафике дают более надёжное направление, чем статистика, потому что отвечают не на вопрос «какая цифра победила», а на вопрос «где именно люди застревают».

Например, для сайта услуг с 500 посетителями в месяц двухмесячный тест заголовка можно заменить записью сессий: за один день видно, на каком именно поле формы люди останавливаются — и это изменение можно внедрить сразу для всех посетителей, не деля искусственно на тестовую и контрольную группу.

Другие частые ошибки

• Сезонность портит тест. Тест, запущенный во время крупной распродажи, праздников или разовой рекламной волны, измеряет поведение именно этой недели, а не обычный день. Не принимайте решение по результату без повторной проверки в спокойный, «обычный» период.
• Эффект новизны выдаёт себя за победу. Пользователи реагируют на новый вариант просто потому, что он выглядит иначе — это создаёт искусственного «победителя» в первые дни, а через несколько недель разница сама исчезает. Не закрывать тест раньше запланированного срока — вот что нейтрализует этот эффект.
• Параллельные тесты на одной странице мешают друг другу. Если одновременно тестировать заголовок и цвет кнопки, посетитель видит оба изменения сразу, и понять, что именно повлияло на результат, не получится никогда. На одной странице в один момент — один тест.
• Ожидание большого результата от маленького изменения. Рассчитывать, что смена одного слова в заголовке резко поднимет конверсию, нереалистично — мелкие правки обычно дают мелкий, трудноизмеримый эффект. Для заметного результата тестируйте крупное изменение (например, всю структуру страницы), а не мелкую деталь.

Четыре пункта перед стартом теста

1. Объём выборки зафиксирован заранее — сколько посетителей или недель пройдёт до закрытия теста, решено до старта, а не по ходу результата.
2. Меняется только одна переменная — если одновременно меняются заголовок, кнопка и картинка, узнать, что именно сработало, не получится никогда.
3. Метрика успеха одна — вопрос «клик, покупка или оба» отвечен до начала теста.
4. Результат не смотрят до закрытия — смотреть интересно, но действовать по промежуточному результату запрещено, поэтому дата завершения теста прописана заранее.

Если трафика достаточно, правильная настройка самого теста обходится намного дешевле, чем месяцы, потраченные на неверный вывод. В нашей услуге A/B-тестирования конверсии мы заранее письменно фиксируем с вами объём выборки, единственную переменную и правило остановки — и после этого никто не смотрит на промежуточный результат и не принимает по нему решение.