ความสมดุลของการกระจาย
อีกวิธีหนึ่งที่ใช้ตรวจสอบ Randomization Bias ใน A/B Testing ได้อย่างรวดเร็ว คือการดูว่าการกระจายของเมตริกและแอตทริบิวต์ที่ควรคงที่ระหว่าง Variant ต่าง ๆ นั้นสมดุลหรือไม่ หากพบความแตกต่างอย่างมีนัยสำคัญในสัดส่วนของอุปกรณ์ เบราว์เซอร์ หรือระบบปฏิบัติการ — สมมติว่าขนาดตัวอย่างใหญ่เพียงพอ — อาจเป็นสัญญาณของปัญหาในการตั้งค่าภายในของเรา ให้ตรวจสอบชุดข้อมูล AdSmart และ checkout ที่โหลดไว้ให้แล้ว และตรวจสอบ Internal Validity โดยใช้การกระจายของแอตทริบิวต์ ชุดข้อมูลใดที่ดูเหมือนจะมีการตั้งค่าภายในที่ถูกต้องมากกว่ากัน?
แหล่งที่มาของชุดข้อมูล Adsmart จาก Kaggle อยู่ที่นี่
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
A/B Testing ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)