开始使用免费开始使用

SRM

当我们按每个版本的既定百分比分配实验的入组单元(例如用户)时,预期会因为日志问题、延迟、轻微的埋点缺陷等出现一些细小波动。不过,一旦偏差超过合理范围,通常意味着存在更严重的问题,可能会使测试结果失效并产生偏倚。本练习的目标是学习统计方法,帮助您识别那些不能仅用随机性来解释的分配不匹配情况。

作为一名分析工程师,您的工作可能需要设计,甚至自动化 A/B 测试中的样本比例不匹配(SRM)监测框架。本题已为您加载了 checkout DataFrame,以及 pandasnumpy 库。我们将把 checkout 设计为 'A' 的组视为对照组,'B' 的组视为处理组。

本练习是课程的一部分

Python 中的 A/B 测试

查看课程

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)
编辑并运行代码