A/B-Test-Signifikanzrechner

A/B-Test-Signifikanzrechner

Geben Sie Ihre Testdaten zeilenweise ein – einen Namen, die Besucherzahl und die Konversionen – und dieses Tool führt einen Zwei-Stichproben-Z-Test gegen die erste Zeile durch, die als Kontrolle gilt. Es gibt die Konversionsrate jeder Variante, den absoluten und relativen Lift gegenüber der Kontrolle, ein Konfidenzintervall und an, ob der Unterschied statistisch signifikant ist.

Das Konfidenzniveau bestimmt die Strenge des Tests: 90 %, 95 % oder 99 %. Ein zweiseitiger Test prüft, ob sich eine Variante in jeder Richtung von der Kontrolle unterscheidet; ein einseitiger Test prüft nur, ob sie besser ist, was mit denselben Daten schneller zu Signifikanz führt. Wenn Sie das Konfidenzintervall aktivieren, wird für jede Variante ein Bereich für die wahre Konversionsrate hinzugefügt, nicht nur für die Kontrolle. Wählen Sie eine Tabelle für einen kompakten Vergleich nebeneinander oder einen Satz für eine leicht verständliche Ausgabe mit ausgewähltem Gewinner.

Echter Traffic ist unordentlich, daher prüft das Tool auch die Stichprobengröße: Wenn die erwartete Anzahl der Konversionen oder Nicht-Konversionen für eine Variante unter fünf fällt, wird ein Hinweis hinzugefügt, dass die Normal-Näherung hinter dem Test möglicherweise unzuverlässig ist, anstatt eine scheinbar sichere Zahl auszugeben, die das nicht ist. Sie können mehrere Varianten gleichzeitig vergleichen – jede Zeile nach der Kontrolle wird unabhängig dagegen getestet, und der Gewinner ist die Variante mit der höchsten Konversion, die die Kontrolle um eine statistisch signifikante Menge schlägt.

Alles läuft lokal in Ihrem Browser. Besucherzahlen und Konversionsquoten können geschäftlich sensibel sein, und nichts davon wird jemals hochgeladen – die Berechnung findet auf Ihrem Gerät statt und nirgendwo sonst. Kopieren Sie das Ergebnis, laden Sie es als .txt-Datei herunter oder geben Sie es wieder in die Eingabe ein, um eine Zahl anzupassen und die Signifikanzänderung anzuzeigen.

Häufige Fragen