🎰 Bayesian A/B — вероятность что вариант B лучше
Классический A/B даёт «значимо / не значимо». Bayesian — даёт прямой процент: «B лучше A с вероятностью 87%». Можно остановить тест когда уверенность достаточная.
Простыми словами: Два пирога — какой вкуснее? Попробовал 10 кусков первого, 7 понравились. И 10 кусков второго, 8 понравились. Bayes говорит: «второй лучше с вероятностью 65%, надо ещё пробовать».
Bayesian A/B — продвинутый способ сравнить два варианта рекламы или лендинга. Он работает не по принципу «достаточно ли данных», а сразу даёт вероятность что вариант B лучше A. Под капотом — Beta-распределение и 5000 симуляций.
Слева вводишь сколько было показов и кликов (или показов и заявок) у обоих вариантов. Калькулятор сразу скажет: «вариант B лучше с вероятностью 87%». Чем больше показов — тем точнее ответ.
Можно остановить тест раньше. Классический A/B заставляет ждать «когда наберётся выборка». Bayes — можно прямо сейчас принимать решение «нет смысла дальше гонять, B уже выигрывает 95%».
Что у тебя сейчас
Вариант A (старый)
Вариант B (новый)
B вероятно лучше, но риск ошибиться 20%. Лучше прогнать ещё немного трафика.
Когда останавливать тест
- • ≥ 95% — твёрдый winner, переходи на него
- • 80-95% — вероятно, но прогони ещё чуть-чуть
- • < 80% — пока шум, продолжай тест
Креатив A: 2000 показов, 40 кликов (2%). Креатив B: 2000 показов, 55 кликов (2.75%).
Ответ: B лучше с вероятностью ~85%. Если хочешь 95% — нужно прогнать ещё ~1000 показов на каждый.
Хочешь заявки по 1000–1500₽ вместо 3000–4000₽?
Ответь на 3 вопроса — пришлю разбор твоей ситуации по «Методу Точного Входа™».