新奇效应检测
新奇效应出现的频率,往往超出多数数据科学家和工程师的预期。对一个"酷炫"的新功能直接运行 A/B 测试,并在前几天看到使用指标大幅上升后就草率下结论,这是初级分析师常见的错误之一。
为您加载的 novelty 数据集,包含两个版本之间,每位用户页面停留时间(Time on Page,ToP)平均值差异的相关数据。请按时间查看结果,判断是否存在新奇效应的迹象。您会把测试从开始到结束的所有结果都纳入分析吗?
本练习是课程的一部分
Python 中的 A/B 测试
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()