Phát hiện hiệu ứng mới lạ (novelty effects)
Hiệu ứng mới lạ xảy ra thường xuyên hơn những gì nhiều Data Scientist và Engineer nghĩ. Chạy một A/B test cho một tính năng mới “ngầu” rồi vội kết luận sau khi thấy chỉ số sử dụng tăng vọt trong vài ngày đầu là một sai lầm phổ biến mà các nhà phân tích mới vào nghề hay mắc phải.
Bộ dữ liệu novelty đã được nạp sẵn cho bạn, chứa dữ liệu về chênh lệch thời gian trung bình trên trang theo người dùng (Time on Page, ToP) giữa hai biến thể. Hãy xem xét kết quả theo thời gian và kiểm tra xem có dấu hiệu của hiệu ứng mới lạ hay không. Bạn có đưa toàn bộ kết quả từ đầu đến cuối thử nghiệm vào phân tích không?
Bài tập này là một phần của khóa học
A/B Testing bằng Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()