A/B-Test-Signifikanzrechner

Prüfen Sie, ob die Ergebnisse Ihres A/B-Tests statistisch signifikant sind.

Kontrolle (A)
Variante (B)

—

Anwendungsbeispiele

Entscheiden, ob eine neue Variante ausgerollt werden soll

Prüfen Sie, ob die höhere Conversion-Rate Ihrer Variante B eine echte Verbesserung oder nur zufälliges Rauschen ist, bevor Sie sie für alle ausrollen.

Prüfen, ob ein Test vorzeitig beendet werden kann

Sehen Sie, ob Ihre aktuellen Ergebnisse bereits statistische Signifikanz erreicht haben oder ob Sie weiter Daten sammeln müssen.

Zwei Überschriften- oder Button-Designs vergleichen

Geben Sie die Besucher- und Conversion-Zahlen jeder Version ein, um zu sehen, welche tatsächlich besser abgeschnitten hat - nicht nur, welche Zahl größer aussieht.

Experiment auf der Preisseite auswerten

Geben Sie Besucher- und Conversion-Zahlen für zwei Layouts Ihrer Preisseite ein, um die Aufschlüsselung der Daten zu sehen, bevor Sie entscheiden, welches Layout Sie behalten.

Abgeschlossenen Test vor der Dokumentation überprüfen

Geben Sie die finalen Besucher- und Conversion-Zahlen eines abgeschlossenen Tests erneut ein, um p-Wert und Konfidenzniveaus noch einmal zu prüfen, bevor Sie die Ergebnisse festhalten.

Häufig gestellte Fragen

Was bedeutet 'statistisch signifikant' eigentlich?

Es bedeutet, dass der beobachtete Unterschied beim gewählten Konfidenzniveau unwahrscheinlich allein auf Zufall beruht. Ein p-Wert unter 0,05 ist der gängigste Schwellenwert für '95 % Konfidenz'. Es bedeutet NICHT, dass der Unterschied groß, wichtig oder für immer Bestand haben wird - nur, dass er bei Ihrer Stichprobengröße wahrscheinlich kein reines Rauschen ist.

Kann ein 'signifikantes' Ergebnis trotzdem falsch sein?

Ja. Bei 95 % Konfidenz besteht per Definition immer noch eine Chance von etwa 1 zu 20 für einen falsch-positiven Befund. Signifikanz berücksichtigt auch nicht, dass viele Tests gleichzeitig laufen oder ein Test beendet wird, sobald er gut aussieht - beides erhöht die tatsächliche Falsch-positiv-Rate über das hinaus, was der rohe p-Wert nahelegt.

Meine Stichprobengröße ist klein - kann ich dem vertrauen?

Kleine Stichproben machen es viel wahrscheinlicher, ein 'signifikantes' Ergebnis zu sehen, das sich mit mehr Daten nicht bestätigt, und erschweren es, einen echten, aber moderaten Unterschied zu erkennen. Behandeln Sie Ergebnisse aus kleinen Stichproben mit Vorsicht und erwägen Sie, den Test länger laufen zu lassen.

Wird meine Eingabe an einen Server gesendet?

Nein. Alle Berechnungen erfolgen vollständig in Ihrem Browser und werden niemals an einen Server gesendet.

Was ist der Unterschied zwischen absoluter und relativer Differenz?

Die absolute Differenz ist schlicht der Unterschied zwischen den beiden Conversion-Raten (z. B. 12 % minus 10 % ergibt eine absolute Differenz von 2 Prozentpunkten). Die relative Differenz drückt denselben Unterschied als Prozentsatz der Ausgangsrate aus (2 Prozentpunkte bei einer Basis von 10 % entsprechen einer relativen Differenz von 20 %). In Schlagzeilen wird oft die relative Differenz genannt, weil die Zahl größer wirkt – prüfen Sie also, welcher Wert angegeben ist, bevor Sie Schlüsse ziehen.

Was genau sagt der Z-Wert aus?

Der Z-Wert gibt an, um wie viele Standardabweichungen der beobachtete Unterschied zwischen Kontrolle und Variante – unter Berücksichtigung der Stichprobengrößen – von null (kein Unterschied) entfernt liegt. Ein betragsmäßig größerer Z-Wert geht in der Regel mit einem kleineren p-Wert und stärkeren Belegen für einen echten Unterschied einher, sofern die statistischen Annahmen des Tests erfüllt sind.

Sagt mir das Tool, wie lange ich meinen Test noch laufen lassen sollte?

Nein. Dieser Rechner wertet nur die bisher eingegebenen Daten aus – er berechnet weder vorab eine erforderliche Stichprobengröße noch eine Mindestlaufzeit des Tests. Für die Testplanung verwenden Sie üblicherweise einen separaten Stichprobenrechner, der Ihre Basisrate, den minimal nachweisbaren Effekt und die gewünschte Teststärke berücksichtigt.

Werden meine Daten an einen Server gesendet?

Nein. Alle Berechnungen erfolgen vollständig in Ihrem Browser, und die Daten werden niemals an einen Server gesendet.