1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. A/B Testing bằng Python
Connected

Bài tập

Phát hiện hiệu ứng mới lạ (novelty effects)

Hiệu ứng mới lạ xảy ra thường xuyên hơn những gì nhiều Data Scientist và Engineer nghĩ. Chạy một A/B test cho một tính năng mới “ngầu” rồi vội kết luận sau khi thấy chỉ số sử dụng tăng vọt trong vài ngày đầu là một sai lầm phổ biến mà các nhà phân tích mới vào nghề hay mắc phải.

Bộ dữ liệu novelty đã được nạp sẵn cho bạn, chứa dữ liệu về chênh lệch thời gian trung bình trên trang theo người dùng (Time on Page, ToP) giữa hai biến thể. Hãy xem xét kết quả theo thời gian và kiểm tra xem có dấu hiệu của hiệu ứng mới lạ hay không. Bạn có đưa toàn bộ kết quả từ đầu đến cuối thử nghiệm vào phân tích không?

Hướng dẫn 1/2

undefined XP
    1
    2
  • Vẽ đồ thị mức lift của chỉ số Time-on-Page ToP_lift theo thời gian diễn ra thí nghiệm.