🆎 A/B-тест: сколько трафика нужно
У тебя сейчас конверсия 2%. Хочешь проверить новый креатив, который даст +25%. Сколько показов нужно прогнать на каждый вариант чтобы быть на 95% уверенным что разница не случайна?
Простыми словами: Подбросил монетку 10 раз и выпало 7 орлов. Значит ли это что монетка нечестная? Нет, мало бросков. А вот если 700 из 1000 — точно нечестная. То же с креативами рекламы.
A/B-тест — сравнение двух вариантов рекламы или лендинга. Калькулятор скажет сколько трафика нужно прогнать через КАЖДЫЙ вариант чтобы быть на 95% уверенным что разница не случайна. Использует z-критерий из классической статистики.
Слева вводишь: текущая конверсия и какое улучшение хочешь увидеть (например, +20%). Справа — точная цифра: «по 5400 показов на вариант, всего 10 800».
Многие маркетологи останавливают тест раньше времени — на 200 показах казалось «новый лучше», а потом на 2000 он стал хуже. Этот калькулятор не даёт принимать решения раньше времени. И не даёт гонять тест бесконечно.
Что у тебя сейчас
Например: текущая 2%, целевая 2.5% = рост на 25%. Чем меньше улучшение, тем больше трафика нужно для уверенности.
Всего нужно 27 588 показов (по 13 794 на старый и новый креатив). После этого можно достоверно сказать какой лучше — с 95% уверенностью.
Что такое уверенность 95%
Если ты остановишь тест раньше — может оказаться что один креатив лучше «случайно». Через нужное число показов это перестаёт быть случайностью — вероятность ошибиться меньше 5%. Это стандарт во всех A/B-тестах: Google, Facebook, ВК — все используют это правило.
Сейчас 2% людей оставляют заявку. Хочешь проверить новый креатив, который должен дать 2.5% (рост на 25%).
Ответ: Нужно ~5 700 показов на каждый вариант (11 400 всего). Если меньше — результат может быть случайным.
Хочешь заявки по 1000–1500₽ вместо 3000–4000₽?
Ответь на 3 вопроса — пришлю разбор твоей ситуации по «Методу Точного Входа™».