Калькулятор значущості A/B тестів
Розрахуйте коефіцієнт конверсії, ліфт та статистичну значущість для варіантів A/B тесту.
Калькулятор значущості A/B тестів
Вставте дані свого тесту в один рядок на варіант — назву, кількість відвідувачів і кількість конверсій — і цей інструмент запустить двопропорційний z-тест проти першого рядка, який він розглядає як контрольну групу. Він виводить коефіцієнт конверсії кожного варіанту, абсолютний та відносний ліфт над контролем, довірчий інтервал і статистичну значущість різниці.
Рівень довіри визначає строгість тесту: 90%, 95% або 99%. Двосторонній тест перевіряє, чи відрізняється варіант від контролю в будь-якому напрямку; односторонній тест перевіряє лише, чи варіант краще, що дозволяє досягти значущості швидше при тих же даних. Включення довірчого інтервалу додає діапазон істинного коефіцієнту конверсії для кожного варіанту, не тільки для контролю. Виберіть таблицю для компактного порівняння поруч, або текст для інтерпретації простою мовою з указанням переможця.
Реальний трафік непередбачуваний, тому інструмент також перевіряє розмір вибірки: коли очікувана кількість конверсій або неконверсій для будь-якого варіанту падає нижче п'яти, він додає примітку, що нормальна апроксимація, що лежить в основі тесту, може бути ненадійною, замість того щоб виводити впевнене число, яке таким не є. Ви можете одночасно порівнювати більш ніж два варіанти — кожен рядок після контролю тестується незалежно проти нього, а переможець — це варіант з найвищою конверсією, який перевершує контроль зі статистично значущою різницею.
Усі обчислення виконуються локально у вашому браузері. Числа трафіку і конверсій можуть бути комерційно конфіденційні, і ніщо з цього ніколи не завантажується — розрахунок відбувається на вашому пристрої і більше ніде. Скопіюйте результат, завантажте його як файл .txt або відправте назад у вхідні дані, щоб відрегулювати число і побачити оновлення значущості.