若要運用參數檢定來判斷統計顯著性,我們需要確認關於隨機性、常態性與獨立性的假設都有被滿足。大多數實務上的線上實驗,在流量夠大的情況下通常能滿足這些假設。不過,依你所處的實驗情境與產業,也不乏會遇到違反其中任一假設的案例。遇到這種情況時,選擇合適的非參數檢定會更安全,因為它不需要對資料做這麼嚴格的假設。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你將學會 A/B 測試的基礎。你會了解清楚的步驟與使用情境、為何要設計並執行 A/B 測試,以及最常用的指標設計與估算架構。
在第 2 章中,你將學習實驗設計流程。從如何制定有力的 A/B 測試假說開始,並涵蓋統計概念,如檢定力(power)、錯誤率與最小可檢測效果(MDE)。你會在章末學會估計取得明確結論所需的適當樣本數,並處理多重比較的情境。
在這裡,你將學到清理、前處理與探索 A/B 測試資料的具體流程,並理解為了確保結果有效所需遵循的各項有效性檢查。你也會透過詳盡的說明與範例,學習如何分析比例差異的 A/B 測試。
在最後一章,你將建立分析平均數差異的架構,並在假設不完全成立時運用非參數檢定。你也會學到在分析比率型指標時如何應用 Delta 方法,並了解最佳實務與進階主題,持續精進 A/B 測試的能力。
當前練習