統計顯著（Statistical Significance）
用來判斷實驗中兩組的差異是不是「真的有差」，而非隨機運氣造成的標準。當結果達到統計顯著，代表這個差異出於偶然的機率夠低，可以較有信心地相信它是真的。
統計顯著（Statistical Significance） 是什麼？
統計顯著回答一個關鍵問題：實驗組和控制組的差距，到底是真有效果，還是只是抽樣的隨機波動？通常以 p 值衡量，p 值越小代表「純屬巧合」的機率越低，常見門檻是 p 小於 0.05，也就是約 95% 信心水準。 要特別澄清，達到顯著不等於效果很大，只代表「這個差異不太可能是偶然」；差異的實際大小要看數值本身與商業意義。反過來，沒達到顯著也不代表沒效果，可能只是樣本數不夠。 台灣電商在跑 A/B 測試時最常犯的錯，就是看到數字稍微領先就急著喊贏。沒有達到統計顯著就下結論，等於拿運氣當策略，放大後往往破功。
舉個例子
某台灣服飾電商測試兩種商品頁版型，第二天 B 版轉換率略高就想全站換版，數據團隊提醒尚未達統計顯著，續測一週後差距消失，避免了一次錯誤改版。
林 林克威說
我看 A/B 測試最怕的就是「偷看就喊贏」。才跑兩天、A 版領先一點點，行銷就想全面換掉，這種結論九成靠不住。我會要求測試一定要做到統計顯著才採信，寧可多等幾天累積樣本。記住一句話：顯著只代表差異是真的，不代表差異很大，這兩件事要分開看，決策才不會被漂亮數字牽著走。
免費諮詢
想讓你的品牌在台灣電商「有勝率」地長大？
不論是平台代營運、品牌代理落地，還是 AI × 電商流程優化，加 LINE 直接聊你的狀況，我會給你具體可執行的方向。
- 針對你的品牌與通路，給具體可執行的建議
- 不推銷、不綁約，先把問題聊清楚再說
- 三大媒體電商專欄作家，2016 年起深耕電商