SRM
當我們設計實驗,打算以每個變體配置一定比例的註冊單位(例如使用者)時,我們會預期因為記錄問題、延遲、細微的儀表錯誤等,實際比例會有些微偏差。不過,若偏差超過合理範圍,通常就代表存在更大的問題,可能使測試結果失效並產生偏誤。本練習的目標是帶你檢視統計方法,幫助你辨識分配不匹配已經大到不能僅用隨機誤差來解釋的情況。
身為分析工程師,你的職責可能需要設計,甚至自動化 A/B 測試中偵測樣本比例不匹配(sample ratio mismatch, SRM)的框架。系統已為你載入 checkout DataFrame,以及 pandas 與 numpy 函式庫。請將 checkout 設計為 'A' 的視為對照組,'B' 的視為實驗組。
本練習屬於課程
Python 的 A/B 測試
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)