การประเมินนัยสำคัญทางสถิติ

เมื่อทราบแล้วว่า variant แบบ personalization ให้ผลดีกว่า control ถึงเวลาแล้วที่จะตรวจสอบว่าผลลัพธ์นี้มีนัยสำคัญทางสถิติหรือไม่ นัยสำคัญทางสถิติมีความสำคัญอย่างยิ่งในการพิจารณาว่าผลทดสอบที่ได้ดีขึ้นนั้นเกิดจากความบังเอิญ หรือสะท้อนถึงความแตกต่างที่แท้จริงระหว่าง variant ทั้งสอง ข้อมูลนี้จะช่วยให้ทีมการตลาดตัดสินใจได้อย่างมีข้อมูลว่าควรนำฟีเจอร์นี้ไปใช้จริงหรือไม่

ทดลองใช้ stats.ttest_ind() โดยใส่ control และ personalization เป็น input

ความแตกต่างระหว่าง control และ personalization มีนัยสำคัญทางสถิติหรือไม่?