开始使用免费开始使用

校正后的 p 值

设想您是一家订阅制公司的数据科学家。网页设计团队正在寻找最合适的 CTA(call-to-action,号召性用语)按钮,促使访客注册他们的服务。除了当前版本外,他们向您展示了 4 个不同的设计。

在将每个变体与对照组进行实验比较后,您得到了一个 p 值列表,并加载在变量 pvals 中。若直接与显著性阈值比较,将导致一类错误(Type I error)率被抬高。为避免这种情况,您可以使用 Python 的 statsmodels 库中的 smt.multipletests() 函数来校正 p 值,并在 FWER = 5% 的前提下检验统计显著性。

本练习是课程的一部分

Python 中的 A/B 测试

查看课程

交互式实操练习

通过完成这段示例代码来试试这个练习。

import statsmodels.stats.multitest as smt

pvals = [0.0126, 0.0005, 0.00007, 0.009]

# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')

print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))
编辑并运行代码