分佈是否平衡
在 A/B 測試中,另一個快速檢查隨機化偏誤的方法,是觀察在各個版本之間,理論上不該改變的指標與屬性的分佈是否平衡。如果某些裝置、瀏覽器或作業系統的比例出現明顯差異,而且樣本量足夠大,這可能代表內部設定存在更大的問題。請檢視已為你載入的 AdSmart 與 checkout 資料集,利用屬性分佈來檢查內部效度。哪一個資料集看起來有較合理的內部設定?
Adsmart 的 Kaggle 資料集來源連結在此:連結
本練習屬於課程
Python 的 A/B 測試
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)