ผลกระทบจากวันในสัปดาห์
แม้ว่า A/B testing จะช่วยควบคุมตัวแปรภายนอก เช่น สภาพอากาศและวันหยุด แต่ treatment บางอย่างอาจมีผลลัพธ์ที่แตกต่างกันในแต่ละช่วงเวลา ซึ่งจำเป็นต้องนำมาพิจารณาเพื่อให้เข้าใจพฤติกรรมผู้ใช้ได้ครบถ้วน ทั้งนี้ขึ้นอยู่กับเมตริกที่ติดตาม อาจจำเป็นต้องรัน A/B test ในหน่วยที่เป็นสัปดาห์เต็ม เมตริกบางรายการมีฤดูกาลและได้รับผลกระทบจากวันหยุดหรือสุดสัปดาห์ ในขณะที่บางรายการไม่ผันผวนมากนัก หน้าที่ของนักวิทยาศาสตร์ข้อมูลคือแนะนำทีมว่าควรหยุดการทดสอบเมื่อได้ขนาดตัวอย่างที่ต้องการ หรือควรขยายเวลาออกไปอีกสองสามวันเพื่อครอบคลุมผลกระทบตามฤดูกาล เช่น ผลกระทบจากวันในสัปดาห์
ตรวจสอบชุดข้อมูล novelty ที่โหลดไว้ให้แล้ว เพื่อเลือกเมตริกที่ต้องรันในหน่วยสัปดาห์เต็ม pandas และ matplotlib ก็ถูกโหลดไว้ให้แล้วเช่นกัน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
A/B Testing ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create a line plot
novelty.____('____', '____')
plt.title('Purchase Rate Over Test Duration')
plt.ylabel('Purchase Rate [%]')
plt.ylim([0, 0.04])
plt.show()