假設你是一位分析工程師,正面臨數個實驗設計情境,為了避免虛警率(偽陽性)被放大,可能需要進行多重比較校正。請思考各情境的條件,以及每個實驗中所測試的指標數量、版本數量或子類別數量,如何影響是否需要校正。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你將學會 A/B 測試的基礎。你會了解清楚的步驟與使用情境、為何要設計並執行 A/B 測試,以及最常用的指標設計與估算架構。
在第 2 章中,你將學習實驗設計流程。從如何制定有力的 A/B 測試假說開始,並涵蓋統計概念,如檢定力(power)、錯誤率與最小可檢測效果(MDE)。你會在章末學會估計取得明確結論所需的適當樣本數,並處理多重比較的情境。
當前練習
在這裡,你將學到清理、前處理與探索 A/B 測試資料的具體流程,並理解為了確保結果有效所需遵循的各項有效性檢查。你也會透過詳盡的說明與範例,學習如何分析比例差異的 A/B 測試。
在最後一章,你將建立分析平均數差異的架構,並在假設不完全成立時運用非參數檢定。你也會學到在分析比率型指標時如何應用 Delta 方法,並了解最佳實務與進階主題,持續精進 A/B 測試的能力。