A/B 測試顯著性計算機
檢查你的 A/B 測試結果是否具有統計顯著性。
—
使用範例
決定是否要全面上線新版本
在全面上線前,確認 B 版本較高的轉換率是真正的改善,還是只是隨機波動。
確認是否可以提早結束測試
查看目前的結果是否已經達到統計顯著性,還是需要繼續收集數據。
比較兩種標題或按鈕設計
輸入每個版本的訪客數與轉換數,看看哪一個真正表現更好,而不是只看哪個數字比較大。
評估定價頁面的實驗
輸入兩種定價頁面版型的訪客數與轉換數,在決定保留哪一個之前,先看看資料的分布情形。
在記錄結果前回顧已結束的測試
重新輸入已完成測試的最終訪客數與轉換數,在撰寫結果報告前再次確認 p 值與各信心水準下的結果。
常見問題
「具有統計顯著性」到底是什麼意思?
意思是在你選定的信心水準下,觀察到的差異不太可能純粹是隨機造成的。「95% 信心水準」最常見的門檻是 p 值小於 0.05。這並不代表差異很大、很重要,或永遠都會維持 — 只是代表以你目前的樣本數來看,它不太可能只是雜訊。
「顯著」的結果也可能是錯的嗎?
是的。在 95% 信心水準下,依定義仍有大約二十分之一的機率出現假陽性。顯著性也沒有考慮同時跑多個測試,或是結果一看起來不錯就提前結束測試(peeking)的情況 — 這兩種做法都會讓實際的假陽性率,比原始 p 值所顯示的還要高。
我的樣本數很小,這個結果可以相信嗎?
樣本數小時,很容易出現之後數據變多就站不住腳的「顯著」結果,也更難偵測出真實但幅度不大的差異。對小樣本的結果要謹慎看待,並考慮讓測試再跑久一點。
我輸入的數值會傳送到伺服器嗎?
不會。所有計算都只在您的瀏覽器中進行,不會傳送到伺服器。
絕對差異和相對差異有什麼不同?
絕對差異就是兩個轉換率直接相減的差(例如 12% 減 10%,絕對差異為 2 個百分點)。相對差異則是把同樣的差距換算成原始轉換率的百分比(以 10% 為基準時,2 個百分點就是 20% 的相對差異)。新聞標題常引用相對差異,因為數字看起來比較大,所以在下結論前,請先確認報告的是哪一種。
Z 分數實際上代表什麼?
Z 分數衡量的是,在目前的樣本數下,對照組與實驗組之間觀察到的差異距離零(沒有差異)有多少個標準差。在檢定的統計假設成立的前提下,Z 分數越大(無論正負方向),通常對應的 p 值越小,代表真的有差異的證據越強。
這個工具會告訴我測試要跑多久嗎?
不會。這個計算機只會評估你目前輸入的資料 — 它不會事先算出所需樣本數或最短測試期間。若要規劃測試,通常需要另外使用樣本數計算機,並把基準轉換率、最小可偵測效果與期望檢定力納入考量。
我的資料會傳送到伺服器嗎?
不會。所有計算都完全在你的瀏覽器中進行,絕不會傳送到伺服器。