🆎 A/B-тест: сколько трафика нужно
У тебя сейчас конверсия (доля посетителей, кто оставил заявку) 2%. Хочешь проверить новый креатив (рекламную картинку или объявление), который даст +25%. Сколько показов нужно прогнать на каждый вариант, чтобы быть на 95% уверенным, что разница не случайна, а настоящая?
Простыми словами: Подбросил монетку 10 раз и выпало 7 орлов. Значит ли это что монетка нечестная? Нет, мало бросков. А вот если 700 из 1000 — точно нечестная. То же с креативами рекламы.
A/B-тест (сравнение двух вариантов на живых людях) — половине аудитории показываешь вариант A, половине B, и смотришь, где больше заявок. Калькулятор скажет, сколько показов нужно прогнать через КАЖДЫЙ вариант, чтобы быть на 95% уверенным, что разница не случайна, а настоящая.
- 1Впиши «Текущая конверсия» — сколько % посетителей сейчас оставляют заявку.
- 2Задай ползунком «На сколько % хочешь её увеличить» — например, +25%.
- 3Прочитай главный вывод: сколько показов нужно на каждый вариант.
- 4Подели это число на свой дневной трафик — столько дней крутить тест.
Многие маркетологи останавливают тест раньше времени — на 200 показах казалось «новый лучше», а потом на 2000 он стал хуже. Этот калькулятор не даёт принимать решения раньше времени. И не даёт гонять тест бесконечно.
Что у тебя сейчас
Например: текущая 2%, целевая 2.5% = рост на 25%. Чем меньше улучшение, тем больше трафика нужно для уверенности.
Всего нужно 27 588 показов (по 13 794 на старый и новый креатив). После этого можно достоверно сказать какой лучше — с 95% уверенностью.
Что такое уверенность 95%
Если ты остановишь тест раньше — может оказаться что один креатив лучше «случайно». Через нужное число показов это перестаёт быть случайностью — вероятность ошибиться меньше 5%. Это стандарт во всех A/B-тестах: Google, Facebook, ВК — все используют это правило.
Чтобы достоверно сравнить два варианта, нужно по 13 794 показов на каждый — всего 27 588. Остановишь тест раньше — рискуешь выкатить на весь трафик вариант, который победил случайно.
Чем меньше искомый прирост, тем больше нужно трафика: при текущей конверсии 2% и цели поймать +25% выборка вышла 13 794 на группу. Уменьшишь искомый прирост вдвое — выборка вырастет примерно вчетверо.
- 1Не подводи итоги раньше 13 794 показов на вариант — до этого «лидер» меняется случайно.
- 2Прикинь срок: подели это число на свой дневной трафик — столько дней крутить тест.
- 3Не набираешь столько показов? Тестируй крупные изменения (другой оффер, а не цвет кнопки) — большой прирост ловится на меньшей выборке.
- 4Смотри конверсии в одном окне атрибуции и не подсматривай результат каждый день — частые проверки раздувают ложные срабатывания.
Сейчас 2% людей оставляют заявку. Хочешь проверить новый креатив, который должен дать 2.5% (рост на 25%).
Ответ: Нужно ~13 800 показов на каждый вариант (27 600 всего). Если меньше — результат может быть случайным.
A/B-тест: сколько трафика нужно · целевыелиды.рф/tools/ab-test
Похожие инструменты
У тебя 100 заявок и 15 сделок — реально конверсия 9-23%, а не «ровно 15%».
2000 симуляций будущего: насколько вероятно выйти в плюс при шуме в параметрах.
Лил 50/50, а попало 5200 против 4800? χ²-тест ловит поломку сплита. Если SRM есть — результатам теста верить нельзя.
Какой канал реально привёл клиента — с учётом всех заходов и распределением заслуги между каналами. Используется в Google Аналитике (GA4).
Хочешь заявки по 1000–1500₽ вместо 3000–4000₽?
Ответь на 3 вопроса — пришлю разбор твоей ситуации по «Методу Точного Входа™».