Калькулятор значимости A/B тестов
Рассчитайте коэффициент конверсии, лифт и статистическую значимость для вариантов A/B теста.
Калькулятор значимости A/B тестов
Вставьте данные своего теста в одну строку на вариант — название, количество посетителей и количество конверсий — и этот инструмент запустит двухпропорциональный z-тест против первой строки, которую он рассматривает как контрольную группу. Он выводит коэффициент конверсии каждого варианта, абсолютный и относительный лифт над контролем, доверительный интервал и статистическую значимость различия.
Уровень доверия определяет строгость теста: 90%, 95% или 99%. Двусторонний тест проверяет, отличается ли вариант от контроля в любом направлении; односторонний тест проверяет только, лучше ли вариант, что позволяет достичь значимости быстрее при тех же данных. Включение доверительного интервала добавляет диапазон истинного коэффициента конверсии для каждого варианта, не только для контроля. Выберите таблицу для компактного сравнения рядом, или текст для интерпретации на простом языке с указанием победителя.
Реальный трафик беспорядочен, поэтому инструмент также проверяет размер выборки: когда ожидаемое количество конверсий или неконверсий для любого варианта падает ниже пяти, он добавляет примечание, что нормальная аппроксимация, лежащая в основе теста, может быть ненадежной, вместо того чтобы выводить уверенное число, которое таковым не является. Вы можете одновременно сравнивать более двух вариантов — каждая строка после контроля тестируется независимо против него, и победитель — это вариант с наиболее высокой конверсией, который превосходит контроль со статистически значимой разницей.
Все вычисления выполняются локально в вашем браузере. Числа трафика и конверсий могут быть коммерчески конфиденциальны, и ничто из этого никогда не загружается — расчет происходит на вашем устройстве и больше нигде. Скопируйте результат, загрузите его как файл .txt или отправьте обратно во входные данные, чтобы отрегулировать число и увидеть обновление значимости.