1. Learn
    2. /
  2. Courses
    3. /
  3. Pythonで学ぶA/Bテスト
Connected

Exercise

ノベルティ効果の検出

ノベルティ効果は、Data Scientist や Engineer が想像する以上によく起こります。新しい魅力的な機能で A/B テストを実施し、初日から数日の利用指標が大きく伸びたのを見て結論を出してしまうのは、ジュニアのアナリストが陥りがちな代表的なミスです。

読み込まれている novelty データセットには、2 つのバリアント間でユーザーあたりの平均滞在時間（Time on Page、ToP）の差に関するデータが含まれています。時間の経過に沿って結果を確認し、ノベルティ効果の兆候がないかを確かめてください。テスト期間の最初から最後まで、すべての結果をそのまま含めますか？

Instructions 1/2

undefined XP
    1
    2
  • 実験期間にわたる Time-on-Page 指標 ToP_lift のリフトをプロットしてください。