เปรียบเทียบ conversion rate
เมื่อทราบแล้วว่าการจัดสรรกลุ่มค่อนข้างสมดุล ต่อมาเราจะมาดู conversion rate ของกลุ่ม control และกลุ่ม personalization กัน เนื่องจากเราเลือก conversion rate เป็น key metric หลักของการทดสอบนี้ จึงเป็นสิ่งสำคัญมากที่ต้องประเมินว่า conversion ในกลุ่ม personalization สูงกว่ากลุ่ม control หรือไม่ แม้จะมีการวิเคราะห์เชิงลึกในแบบฝึกหัดถัดไป แต่การวัดความแตกต่างของ key metric ระหว่างกลุ่ม control และกลุ่ม treatment ถือเป็นขั้นตอนที่สำคัญที่สุดในการประเมินผลการทดสอบ A/B
DataFrame email ถูกโหลดไว้ใน workspace แล้ว ซึ่งประกอบด้วยแถวจาก DataFrame marketing เฉพาะที่ marketing_channel มีค่าเป็น 'Email'
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
วิเคราะห์แคมเปญการตลาดด้วย pandas
คำแนะนำการฝึกหัด
- จัดกลุ่ม DataFrame
emailตามuser_idและvariantพร้อมเลือกค่าสูงสุดของคอลัมน์convertedแล้วเก็บผลลัพธ์ไว้ในsubscribers - ลบค่าที่หายไปออกจากคอลัมน์
controlของsubscribers_df - ลบค่าที่หายไปออกจากคอลัมน์
personalizationของsubscribers_df - คำนวณ conversion rate ของทั้ง
personalizationและcontrolโดยใช้ฟังก์ชันที่เหมาะสม
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Group marketing by user_id and variant
subscribers = email.____(['user_id',
____])____
subscribers_df = pd.DataFrame(subscribers.unstack(level=1))
# Drop missing values from the control column
control = ____
# Drop missing values from the personalization column
personalization = ____
print('Control conversion rate:', ____)
print('Personalization conversion rate:', ____)