A/Bテスト有意性計算機
A/Bテストの結果が統計的に有意かどうかを確認します。
—
使用例
新しいバリアントを全体展開すべきか判断する
Bバリアントの転換率の高さが本当の改善なのか単なる偶然のばらつきなのか、全体展開前に確認します。
テストを早めに終了してよいか確認する
現在の結果がすでに統計的に有意に達しているか、まだデータ収集を続けるべきか確認します。
見出しやボタンのデザインを2パターン比較する
各バージョンの訪問者数とコンバージョン数を入力し、数字が大きく見える方ではなく実際に優れている方を確認します。
価格ページの実験結果を評価する
2種類の価格ページレイアウトの訪問者数とコンバージョン数を入力し、どちらを採用するか決める前にデータの内訳を確認しましょう。
過去のテストを結果まとめ前に見直す
終了したテストの最終的な訪問者数とコンバージョン数を改めて入力し、結果をまとめる前にp値と信頼水準を再確認しましょう。
よくある質問
「統計的に有意」とは具体的にどういう意味ですか?
選んだ信頼水準において、観測された差が単なる偶然である可能性が低いという意味です。「95%信頼水準」の最も一般的な基準はp値0.05未満です。これは差が大きい、重要である、今後もずっと続くという意味ではありません — 現在のサンプルサイズにおいて単なるノイズである可能性が低いというだけです。
「有意」な結果でも間違っていることはありますか?
はい。95%信頼水準でも、定義上約20回に1回は偽陽性の可能性があります。また有意性は、複数のテストを同時に行うことや、良さそうに見えた時点でテストを止めること(ピーキング)を考慮しておらず、どちらも実際の偽陽性率を生のp値が示す以上に高めてしまいます。
サンプルサイズが小さいのですが、信頼できますか?
サンプルが小さいと、データが増えると消えてしまう「有意な」結果が出やすくなる一方で、実在するが控えめな差を検出しにくくなります。小さいサンプルサイズの結果は慎重に扱い、テストをより長く続けることを検討してください。
入力した値はサーバーに送信されますか?
いいえ。すべての計算はブラウザ内でのみ行われ、サーバーに送信されることはありません。
絶対リフトと相対リフトの違いは何ですか?
絶対リフトは2つのコンバージョン率の単純な差です(例: 12%から10%を引いた2ポイントが絶対リフト)。相対リフトは同じ差を元の率に対する割合として表したものです(10%を基準に2ポイントの差は20%の相対リフトになります)。見出しでは数字が大きく見える相対リフトが引用されがちなので、結論を出す前にどちらが報告されているか確認しましょう。
Zスコアは実際に何を表しているのですか?
Zスコアは、サンプルサイズを踏まえたうえで、対照群とバリアントの間に観測された差が、差がゼロである状態から標準偏差いくつ分離れているかを示します。Zスコア(正負どちらの方向でも)が大きいほど、検定の統計的前提が満たされている限り、一般にp値は小さくなり、実際に差があるという証拠がより強いことを意味します。
このツールはテストをあとどれくらい続けるべきか教えてくれますか?
いいえ。この計算機はこれまでに入力されたデータのみを評価するもので、必要なサンプルサイズや最低限のテスト期間を事前に算出することはできません。テストを計画する段階では、ベースラインの率・検出したい最小効果・検出力を考慮した別のサンプルサイズ計算ツールを使う必要があります。
入力したデータはサーバーに送信されますか?
いいえ。すべての計算はブラウザ内だけで行われ、サーバーに送信されることはありません。