A/B 測試樣本數計算機
A/B 測試每組要多少流量才有意義
關於「A/B 測試樣本數計算機」
想優化網站轉換率,A/B測試是最可靠的方法,但很多人忽略一個關鍵:樣本數不夠,測出來的結果根本不可信。今天A版本贏、明天B版本贏,那不是真的差異,只是隨機波動在騙你。
A/B測試樣本數計算機幫你在開跑前就算清楚,每一組(原始版與新版)各需要多少訪客流量,才能讓結果具備統計意義。它會根據你目前的轉換率,以及你想偵測的相對提升幅度來推算。
關鍵在於:你想偵測的提升幅度越小,需要的樣本數就越大。例如要從2%提升到2.1%(相對提升5%)所需的流量,會遠遠多於提升到2.4%(相對提升20%)。先算清楚樣本數,你才知道這個測試要跑多久、值不值得跑,不會白白浪費流量。
林 林克威的推薦
我看過太多人測三天就急著下結論,結果根本是雜訊。我的習慣是測試前先用這個算好樣本數,再回推大概要跑幾週,並且至少完整跨過一個營業週期再看數據。流量小的店家別硬測微小提升,先從改動幅度大的版本下手,比較容易測出真結果。
常見問題
為什麼樣本數不夠,測試結果就不能信?
因為轉換本身有隨機波動。樣本太少時,兩個版本的差異很可能只是運氣,而非真實的優劣。樣本數足夠才能把隨機雜訊壓低,讓你有信心說這個差異是真的。否則你可能據此做出錯誤決策,把原本更好的版本給換掉。
相對提升和絕對提升有什麼不同?
絕對提升是百分點的差,例如從2%到3%是1個百分點;相對提升是比例的增加,從2%到3%是相對提升50%。這個計算機用相對提升,因為它更貼近商業思考,例如你想讓轉換率成長兩成,輸入20%即可,不必自己換算。
測試大概要跑多久才夠?
用算出的每組樣本數除以你每日進入測試的平均訪客數,就是大致天數。建議無論如何至少跑滿一到兩週,完整涵蓋平日與假日的流量差異,並避開大促或特殊檔期,否則數據會被一時的異常扭曲。
想讓你的品牌在台灣電商「有勝率」地長大?
不論是平台代營運、品牌代理落地,還是 AI × 電商流程優化,加 LINE 直接聊你的狀況,我會給你具體可執行的方向。
- 針對你的品牌與通路,給具體可執行的建議
- 不推銷、不綁約,先把問題聊清楚再說
- 三大媒體電商專欄作家,2016 年起深耕電商
填 Email,下載含公式的試算表
輸入 Email 即可下載這份(及其他所有)計算機的 Excel/CSV 試算表,並收到我的電商實戰電子報。隨時可退訂。