Delta Method
Delta method เป็นหนึ่งในการประยุกต์ใช้ A/B testing ที่ได้ผลจริงมากที่สุด ในฐานะ Data Scientist คุณจะพบกับกรณีที่การกำหนด user ให้กับแต่ละ variant อิงตาม user_id เพื่อสร้างประสบการณ์ที่สม่ำเสมอ ในขณะที่หน่วยของการวิเคราะห์มีความละเอียดกว่า เช่น page view หรือ session
ในแบบฝึกหัดนี้ จะวิเคราะห์ความแตกต่างของ ratio metric ของ order_value รวมต่อ page_view ระหว่าง variant A และ C DataFrame ชื่อ checkout ถูกโหลดไว้ให้แล้ว พร้อมกับ pandas, numpy และฟังก์ชันที่กำหนดไว้ล่วงหน้า ได้แก่ var_delta() สำหรับประมาณค่าความแปรปรวนของ ratio metric และ ztest_delta() สำหรับ z-test ของ ratio metric
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
A/B Testing ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create DataFrames for per user metrics for variants A and C
A_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='A'].groupby('____')['order_value'].____()
,'page_view':checkout[checkout['checkout_page']=='A'].groupby('____')['user_id'].____()})
C_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='C'].groupby('____')['order_value'].____()
,'page_view':checkout[checkout['checkout_page']=='C'].groupby('____')['user_id'].____()})