Kalkulátor statistické významnosti A/B testů
Porovnávejte varianty testu podle konverzního poměru, zdvihu a statistické významnosti.
Kalkulátor statistické významnosti A/B testů
Vložte data testu jako jeden řádek na variantu – název, počet návštěvníků a počet konverzí – a tento nástroj spustí test dvou proporcí z-test proti prvnímu řádku, který považuje za kontrolu. Hlášení konverzní poměr každé varianty, absolutní a relativní zdvih oproti kontrole, interval důvěry a zda je rozdíl statisticky významný.
Úroveň důvěry určuje přísnost testu: 90%, 95% nebo 99%. Oboustranný test zjišťuje, zda se varianta liší od kontroly v obou směrech; jednostranný test zjišťuje pouze, zda je lepší, což dosahuje významnosti dříve se stejnými údaji. Zapnutí intervalu důvěry přidává rozsah pro skutečný konverzní poměr každé varianty, nejen kontroly. Vyberte tabulku pro kompaktní porovnání vedle sebe nebo větu pro čitelný výstup končící se určením vítěze.
Skutečný provoz je složitý, takže nástroj také kontroluje velikost vzorku: pokud expected počet konverzí nebo nekonverzí pro jakoukoli variantu klesne pod pět, přidá poznámku, že normální aproximace za testem může být nespolehlivá, namísto hlášení čísla, které zní jistě, ale není. Najednou můžete porovnat více než dvě varianty – každý řádek za kontrolou se testuje nezávisle proti ní, a vítězem je varianta s nejvyšší konverzí, která kontrolu překoná statisticky významně.
Všechno probíhá lokálně v prohlížeči. Počty návštěvníků a konverzí mohou být obchodně citlivé a nikdy se neodesílají – výpočet probíhá na vašem zařízení a nikde jinde. Zkopírujte výsledek, stáhněte si jej jako soubor .txt nebo jej pošlete zpět na vstup, abyste upravili číslo a viděli aktualizaci významnosti.