⚖️ Честно ли поделился трафик в A/B-тесте (SRM)
Ты делил трафик пополам (50/50), а в группу A попало 5200 человек, в B — 4800? Это может быть не случайность, а поломка теста (ошибка в делении трафика: перенаправление, кэш, фильтр ботов). Тогда результатам верить нельзя. Проверяю математикой — это называется χ² (статистическая проверка).
Простыми словами: Раздаёшь конфеты двум командам поровну. В конце у одной 52 конфеты, у другой 48 — бывает, случайность. А вот если у одной 80, у другой 20 — кто-то жульничал при раздаче. SRM ловит именно такое жульничество в распределении трафика.
SRM (проверка, честно ли поделился трафик) смотрит, разлился ли он между вариантами теста в нужной пропорции — обычно поровну, 50/50. Считаем статистической проверкой (χ²): насколько сильно факт отклонился от ожидания.
- 1Впиши «Посетителей в варианте A» и «Посетителей в варианте B».
- 2Укажи «Ожидаемую долю варианта A» — как делил трафик, обычно 50%.
- 3Смотри p-value внизу: меньше 0.001 — деление сломано, тесту верить нельзя.
Это «врачебная» проверка, про которую в рунете почти никто не знает. Если деление трафика перекошено (баг счётчика, перенаправление режет часть трафика, фильтр ботов бьёт по одной группе) — любой вывод из теста ложный. Сначала проверяешь честность деления (SRM), потом смотришь на конверсию.
Что у тебя сейчас
Сколько человек попало в первый вариант
Сколько человек попало во второй вариант
Как делил трафик: обычно 50% на 50%
p-value = < 0.0001 (меньше порога 0.001). Вероятность, что такой перекос случаен, ничтожна — значит деление трафика сломано технически. Не смотри на конверсию, пока не найдёшь причину: баг перенаправления, кэш CDN, фильтр ботов по одной группе, разная скорость загрузки вариантов.
Что делать, если SRM есть
- • Проверь редирект/сплиттер — не режет ли он часть трафика на один вариант.
- • Проверь кэш и CDN — закэшированная версия могла «прилипнуть» к одному варианту.
- • Проверь фильтр ботов — если чистишь ботов, бьёт ли он по группам равномерно.
- • Сравни скорость загрузки вариантов — медленный отваливается чаще, перекашивая выборку.
- • Пока причина не найдена — не принимай решение по конверсии этого теста.
Трафик разлился неравномерно — тест сломан технически, а не «просто не повезло». Любой «победитель» этого теста — фикция: примешь решение по нему — переделаешь лендинг по ложным данным и будешь платить за это конверсией каждый день.
Делил 50/50, значит из 10 000 человек в A должно было попасть ~5 000, а попало 5 200 — перекос 200 человек. Шанс, что это случайность (p-value < 0.0001), ниже порога поломки 0.001 — сам собой такой перекос не выпадает.
- 1Не смотри на конверсию этого теста вообще — сначала найди и почини причину перекоса.
- 2Пройди по цепочке: редирект/сплиттер → кэш и CDN → фильтр ботов → скорость загрузки вариантов. В 9 из 10 случаев причина здесь.
- 3После починки перезапусти тест с нуля: «долить» трафик в сломанный тест нельзя, данные уже отравлены.
Делил 50/50, получил 5200 против 4800 (всего 10 000).
Ответ: p-value ≈ 0.0000 → SRM есть. Перекос в 400 человек на такой выборке не случаен — ищи технический баг сплита, тесту верить нельзя.
Честно ли поделился трафик в A/B-тесте (SRM) · целевыелиды.рф/tools/srm
Похожие инструменты
Хочешь сравнить два креатива — сколько показов нужно для уверенного ответа.
У тебя 100 заявок и 15 сделок — реально конверсия 9-23%, а не «ровно 15%».
2000 симуляций будущего: насколько вероятно выйти в плюс при шуме в параметрах.
Какой канал реально привёл клиента — с учётом всех заходов и распределением заслуги между каналами. Используется в Google Аналитике (GA4).
Хочешь заявки по 1000–1500₽ вместо 3000–4000₽?
Ответь на 3 вопроса — пришлю разбор твоей ситуации по «Методу Точного Входа™».