การตรวจจับ Novelty Effects
Novelty effects เกิดขึ้นบ่อยกว่าที่นักวิทยาศาสตร์ข้อมูลและวิศวกรส่วนใหญ่จะคาดไว้ การรัน A/B test บนฟีเจอร์ใหม่แล้วสรุปผลทันทีเมื่อเห็นตัวชี้วัดการใช้งานพุ่งสูงขึ้นในช่วงไม่กี่วันแรก คือหนึ่งในความผิดพลาดที่พบบ่อยในหมู่นักวิเคราะห์มือใหม่
ชุดข้อมูล novelty ที่โหลดไว้ให้แล้ว มีข้อมูลเกี่ยวกับส่วนต่างของเวลาเฉลี่ยที่ใช้บนหน้าเพจต่อผู้ใช้ (ToP) ระหว่างสองกลุ่ม ให้ตรวจสอบผลลัพธ์ตามช่วงเวลา และดูว่ามีสัญญาณของ novelty effects หรือไม่ คิดว่าควรนำผลลัพธ์ทั้งหมดตั้งแต่ต้นจนจบการทดสอบมาใช้หรือไม่?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
A/B Testing ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()