新奇效應偵測
所謂新奇效應,其實比多數資料科學家與工程師想的還常見。對一個全新的酷功能跑 A/B 測試,看到前幾天使用指標大幅上升就急著下結論,這是新手分析師常見的錯誤之一。
已為你載入的 novelty 資料集,包含兩個版本之間,每位使用者在頁面上的平均停留時間(Time on Page,ToP)差異的資料。請檢視隨時間變化的結果,看看是否有新奇效應的跡象。你會把測試從開始到結束的所有結果都納入分析嗎?
本練習屬於課程
Python 的 A/B 測試
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()