做電商久了，會發現團隊裡最常出現的一句話是「我覺得這樣比較好」。換個按鈕顏色、改個標題、調整商品頁的排版，每個人都有自己的直覺。問題是，直覺很便宜，而流量很貴。你把首頁主視覺從藍色換成紅色，到底是真的提升了轉換，還是只是剛好那週的流量品質比較好？沒有一套方法去驗證，你永遠不知道答案，只能繼續憑感覺賭。
A/B 測試就是把「我覺得」變成「數據說」的那把尺。它的概念很單純：讓兩群條件相近的訪客，分別看到 A 版和 B 版，再比較哪一版的轉換表現比較好。聽起來不難，但實務上我們在替品牌做電商代營運時，看過太多 A/B 測試做錯的案例——有人測了三天就急著下結論，有人同時改了五個地方結果根本不知道是哪個有效，也有人看到一個「好像比較高」的數字就全站上線，結果上線後業績反而掉。這篇文章想把電商 A/B 測試完整講清楚：到底該測什麼、樣本數怎麼抓、什麼叫統計顯著、有哪些工具，以及最容易踩的坑在哪裡。
A/B 測試到底在測什麼？先搞懂它能回答的問題
很多人對 A/B 測試的誤解，是以為它能告訴你「怎麼做才對」。其實不是。A/B 測試只能回答一個很窄但很重要的問題：在你提出的這兩個（或多個）版本之間，哪一個在某個指標上表現比較好。它不會幫你想點子，它只負責驗證你的點子。
所以做 A/B 測試的第一步，從來不是打開工具，而是先有一個明確的假設。一個好的假設長這樣：「因為觀察到結帳頁的運費資訊太晚出現導致流失，所以如果我們把免運門檻提前到購物車就顯示，結帳完成率會提升。」這句話裡有三個要素——你觀察到的問題、你打算做的改動、你預期會改善的指標。沒有這三樣，你的測試就只是在亂槍打鳥。
那實務上電商最值得測的東西有哪些？我大致分成幾類。
第一類是頁面層級的元素。商品頁的主圖要用情境圖還是去背白底圖、標題要強調功能還是強調情感、CTA 按鈕的文案要寫「立即購買」還是「加入購物車」、價格旁邊要不要放原價刪除線。這些都是高頻、低成本、又直接影響轉換的測試點。
第二類是流程與漏斗。最經典的就是結帳流程：要不要強制註冊會員、表單欄位要幾個、要不要做單頁結帳還是分步結帳、要不要在中途顯示進度條。結帳漏斗的每一層流失都是真金白銀，這裡的優化往往回報最高。如果你想先看清楚自己漏斗哪一層流失最嚴重，可以參考我們寫的轉換率優化指南，再決定 A/B 測試要從哪裡切入。
第三類是價格與促銷的呈現方式。注意，這裡測的不是「該不該降價」，而是「同樣的促銷怎麼呈現轉換比較好」。例如「滿千折百」和「全站九折」哪個吸引人、免運門檻設在多少、要不要倒數計時。
第四類是行銷素材，包含廣告素材、EDM 主旨、推播文案。EDM 主旨的 A/B 測試幾乎是所有電子報工具的標配，成本極低，值得每一封都做。
要提醒一件事：一次測試只改一個變因。如果你同時換了主圖又改了標題又動了按鈕，就算 B 版贏了，你也不知道是哪個改動的功勞，下次根本沒辦法複製。想一次驗證多個變因的組合，那是另一套方法（多變量測試），門檻和流量需求都高得多，一般中小型電商不建議一開始就碰。
樣本數要多少？這是最多人忽略的關鍵
A/B 測試做錯，最常見的原因不是工具用錯，而是樣本數不夠就下結論。這是整篇文章我最想讓你記住的一件事。
問題的本質是這樣：轉換率本身就會自然波動。同一個版本，這一千個人來可能轉換 2.1%，下一千個人來可能轉換 1.8%，這中間的差異很多時候純粹是隨機。如果你的 A 版收了三百個訪客轉換了 9 個（3%），B 版收了三百個轉換了 6 個（2%），你能說 A 比 B 好嗎？不能。這個差距小到完全可能是運氣造成的，再多收幾百個人，數字可能就反過來了。
那到底要收多少樣本才夠？這取決於三件事：
一是你現在的基準轉換率。基準越低，需要的樣本通常越多，因為低轉換率下，每一筆轉換的權重都很大，雜訊也相對更明顯。
二是你想偵測的最小提升幅度（業界常叫 MDE，最小可偵測效果）。你希望這次測試能抓出「至少多少」的差異？如果你只在乎「提升 20% 以上才算數」，需要的樣本比「想抓出 5% 的微小差異」少得多。想偵測越細微的差異，需要的樣本量越大，而且是大很多。
三是你要的信賴水準與檢定力。一般電商實務上，信賴水準抓 95%（也就是顯著水準 0.05），檢定力抓 80%，是相對通用的設定。
實務操作上，你不需要自己手算這些公式。網路上有大量免費的 A/B 測試樣本數計算機，輸入你的基準轉換率、想偵測的提升幅度、信賴水準，它就會告訴你每一組需要多少訪客。我強烈建議測試開始前先算好樣本數，並據此估算這個測試大概要跑幾天。這一步能幫你避開後面要講的最大兩個錯誤：偷看數據提早喊停、以及流量太小根本跑不出結果。
舉個粗略的感覺：如果你的基準轉換率是 2%，想偵測出 10% 的相對提升（也就是從 2% 升到 2.2%），每一組大概需要數萬名訪客。聽到這個數字，很多中小型電商會倒抽一口氣——這也正是為什麼流量規模小的品牌，不該凡事都依賴 A/B 測試，這點我們後面會談。
什麼叫「統計顯著」？別被工具的綠燈騙了
大部分 A/B 測試工具跑到後面，會跳出一個「達到統計顯著」或「B 版獲勝，信心 95%」的提示。很多人看到這個綠燈就開香檳了。但你得真的懂它在講什麼，才不會被誤導。
統計顯著（白話講）的意思是：假設 A 版和 B 版其實沒有差別，那麼你觀察到「現在這麼大的差距」純屬巧合的機率有多低。所謂 95% 信賴水準、p 值小於 0.05，意思是「如果兩版其實一樣，會偶然看到這種差距的機率不到 5%」。機率夠低，我們就比較有底氣說：這個差距大概不是運氣，而是真的有差。
但這裡有幾個關鍵觀念，是工具的綠燈不會告訴你的。
統計顯著不等於商業上重要。 如果你的流量大到爆，就算 A 版和 B 版只差 0.1%，也可能跑出「統計顯著」。但 0.1% 的提升值不值得你為了它去改全站、去承擔工程成本？這是商業判斷，不是統計能回答的。反過來，一個看起來很大的提升，如果樣本太小沒達到顯著，你也不能當真。
還沒達到預定樣本數前，別看那個顯著訊號。 這是最毒的一個陷阱。如果你一邊跑一邊每天偷看，遲早有一天 B 版會因為隨機波動暫時「達到顯著」，你一興奮就喊停上線——但這個顯著是假的。正確做法是：開始前就算好樣本數和天數，跑到那個量之前，不管中間數字多漂亮都不下結論。這在統計上叫「窺視問題」，是電商 A/B 測試最常見的致命傷。
測試至少要跨完整的週期。 消費者行為有週間規律，平日和週末、發薪日前後、有沒有檔期，轉換率差很多。一個只跑了週二到週四的測試，就算達到樣本數，也可能因為沒涵蓋週末而失真。實務上我建議至少跑滿一到兩個完整的星期，把週期性洗掉。
電商 A/B 測試常用的工具有哪些
工具這件事，我的建議是：先用你手上既有平台內建的功能，真的不夠用再去找專門工具。
如果你的主戰場在電子報與 EDM，幾乎所有主流電子報工具都內建主旨和內容的 A/B 測試，這是門檻最低、最該天天做的。寄一封信前，拿一小部分名單先測兩個主旨，贏的那個再發給剩下的大名單，這幾乎是免費的轉換提升。
如果你要測廣告素材，各大廣告平台本身就有實驗或 A/B 測試功能，可以讓系統幫你公平分配曝光、比較不同素材的成效。這部分通常不需要另外的工具。
如果你要測的是官網的頁面與流程，這才是真正需要專門 A/B 測試工具的地方。市面上有不少網站實驗工具，能讓你用視覺化編輯器改版、自動分流、追蹤轉換並計算顯著性。選工具時，重點看三件事：分流是否乾淨（同一個訪客每次都看到同一版）、能不能追蹤到你真正在乎的轉換事件（不只是點擊，而是加入購物車、完成結帳）、以及它的顯著性判讀是否透明。
另外，別小看漏斗分析、熱圖與使用者錄影這類工具。它們嚴格說不是 A/B 測試工具，但它們是 A/B 測試的上游——你得先靠這些工具看出「哪裡有問題」，才知道該對什麼提假設、做測試。我自己的工作流程永遠是：先用數據和錄影找問題，形成假設，再用 A/B 測試驗證，最後才上線。
一段實務經驗
分享一個匿名的例子。我們曾接手一個某美妝保養品牌的官網，品牌方非常迷信 A/B 測試，幾乎什麼都要測，但奇怪的是測了大半年，業績沒什麼起色。我們一進去看就發現問題：他們同時開了七八個測試在跑，每個測試的流量被切得稀碎，沒有一個收得到足夠樣本；更糟的是，負責的人習慣每天早上看後台，只要哪個版本暫時領先就直接上線，根本沒等跑完。
我們做的調整很簡單，但很反直覺：先把測試數量砍下來。我們不再貪心地什麼都測，而是先用漏斗數據排出優先順序，找出流失最嚴重的那一層——結果是結帳頁。然後我們一次只專心跑一個測試，開始前算好樣本數和要跑的天數，跑滿一個完整週期才看結果，期間不管數字多誘人都不提早喊停。
第一個正式跑完的測試，是把強制註冊改成開放訪客結帳。這次因為樣本夠、跑滿週期、判讀也乾淨，結果清楚地顯示新版的結帳完成率明顯提升，而且達到統計顯著。我們才放心全站上線。接著一個一個測下去：結帳表單欄位精簡、免運門檻前置顯示、商品頁加上真實評價。每一個都用同樣的紀律跑。幾個月下來，官網整體轉換率穩定往上，而品牌方花的工具費用和過去差不多——差別只在「會不會用」。這個案例讓我更確信：A/B 測試的價值不在你測得多勤，而在你測得對不對、判讀得嚴不嚴謹。這也是電商代營運真正能幫上忙的地方，從假設、樣本、判讀到上線，每一步都建立在數據紀律上。如果你想看更完整的營運框架，可以參考我們整理的電商營運完整攻略。
常見問題 FAQ
Q1：流量很小的電商，到底還能不能做 A/B 測試？ 能做，但要很有取捨。流量小的最大問題是樣本數補不滿，跑很久也達不到統計顯著，甚至永遠跑不出結果。這種情況下，我會建議先別把資源砸在細微的 A/B 測試上，而是改用漏斗分析、熱圖和使用者錄影，直接找出明顯的大問題去修——這些大方向的優化通常不需要 A/B 測試就能見效。等流量規模上來了，再用 A/B 測試做細緻的微調。換句話說，A/B 測試是給「有一定流量、想做精細優化」的階段用的工具，不是每個階段都該優先做的事。
Q2：A/B 測試一般要跑多久才能下結論？ 沒有固定天數，要看你算出來的樣本數多久能補滿。但有一個硬規則：不管樣本多快補滿，至少要跑完一到兩個完整的星期，把平日與週末、檔期與非檔期的週期性差異洗掉。我最反對的就是「跑三天看數字不錯就上線」，那個數字很可能只是隨機波動，上線後往往打回原形。開始前先算好樣本數、估好天數，跑滿才看，是最基本的紀律。
Q3：什麼叫統計顯著？工具說達到顯著就一定能上線嗎？ 統計顯著的白話意思是「假設兩版其實沒差，會偶然看到現在這種差距的機率很低（通常設在 5% 以下）」，所以我們比較有把握說這個差異是真的。但工具跳出顯著的綠燈不代表就能無腦上線——你要確認三件事：是不是已經跑滿預定樣本數（不是中途偷看到的假顯著）、有沒有跨完整週期、以及這個提升幅度在商業上值不值得。統計顯著只是必要條件，不是充分條件。
Q4：可以一次測很多個改動，同時換主圖、標題和按鈕嗎？ 標準的 A/B 測試一次只該改一個變因，否則就算 B 版贏了，你也不知道是哪個改動的功勞，下次無法複製，也不知道哪些改動其實是扯後腿的。如果你真的想一次驗證多個變因的組合效果，那是「多變量測試」，但它需要的流量比 A/B 測試大上好幾倍，門檻很高，一般中小型電商不建議一開始就碰。先把單變因的 A/B 測試做扎實，比較實際。
Q5：A/B 測試最常見的錯誤是什麼？ 我看過最常見的三個：一是樣本數不夠就下結論，被隨機波動騙了；二是中途偷看數據、一看到暫時領先就提早喊停，跑出假顯著；三是一次改太多東西，贏了也不知道為什麼贏。這三個錯誤的共同根源，都是「沒有在開始前把規則訂好」。只要你開始前算好樣本數、定好要跑的天數、確定只改一個變因，這三個坑大概就能避開八成。
Q6：找電商代營運能幫忙建立 A/B 測試的流程嗎？ 可以，這通常是電商代營運的核心能力之一。專業團隊不會一上來就亂測，而是先用漏斗數據和使用者行為找出真正的問題、形成有根據的假設，再用正確的樣本數和判讀紀律去驗證，最後才把贏的版本上線。比起品牌自己憑感覺一直開測試，代營運團隊看過大量不同品類的轉換數據，更清楚該測什麼、怎麼判讀、什麼時候該收手。想了解我們的做法，可以看關於林克威或實際的合作案例。
結論
A/B 測試的價值，從來不在你測得多勤，而在你測得對不對。把整件事拆開來看，其實就是一條紀律鏈：先用數據找出真正的問題、提出一個明確的假設、算好需要的樣本數、跑滿完整週期、用嚴謹的標準判讀統計顯著，最後才把贏的版本上線。中間任何一環偷懶，得到的數字都可能在騙你。
更重要的是心態：A/B 測試不是用來證明「我是對的」，而是用來誠實面對「我可能是錯的」。願意讓數據推翻自己直覺的團隊，才會真的越做越準。而對流量還不夠大的品牌來說，與其勉強什麼都測，不如先把漏斗看清楚、把明顯的大問題修掉，等流量上來了再用 A/B 測試做精細微調。把這套紀律跑起來，你會發現每一次改版都更踏實，這正是電商代營運最能發揮價值的地方。如果你想看更多我們在不同品類的操盤思路，歡迎逛逛我們的部落格。
林克威長期協助國際品牌與台灣品牌進行電商代營運、品牌代理與通路拓展，累積超過十年實務經驗，服務涵蓋 Momo、PChome、蝦皮、LINE 禮物、品牌官網及實體零售通路。若您希望了解品牌進入台灣市場或電商成長策略，歡迎與我們聯繫。
