分布是否均衡
在 A/B 测试中,快速检查是否存在随机化偏差的另一种方法,是查看本不应在不同版本间变化的各项指标与属性的分布是否均衡。如果某些设备、浏览器或操作系统的占比存在明显差异,并且样本量足够大,这可能意味着我们的内部实验设置存在更大的问题。请查看已为您加载好的 AdSmart 和 checkout 数据集,并利用属性分布来检查内部效度。哪个数据集的内部设置看起来更合理?
Adsmart 的 Kaggle 数据集来源链接在此:Kaggle dataset source is linked here.
本练习是课程的一部分
Python 中的 A/B 测试
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)