ノベルティ効果の検出
ノベルティ効果は、Data Scientist や Engineer が想像する以上によく起こります。新しい魅力的な機能で A/B テストを実施し、初日から数日の利用指標が大きく伸びたのを見て結論を出してしまうのは、ジュニアのアナリストが陥りがちな代表的なミスです。
読み込まれている novelty データセットには、2 つのバリアント間でユーザーあたりの平均滞在時間（Time on Page、ToP）の差に関するデータが含まれています。時間の経過に沿って結果を確認し、ノベルティ効果の兆候がないかを確かめてください。テスト期間の最初から最後まで、すべての結果をそのまま含めますか？
この演習はコースの一部です
Pythonで学ぶA/Bテスト
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()