1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. A/B Testing bằng Python
Connected

Bài tập

SRM

Khi thiết kế một thí nghiệm để phân bổ đơn vị ghi danh (ví dụ: người dùng) theo một tỷ lệ phần trăm nhất định cho mỗi biến thể, bạn có thể kỳ vọng sẽ có một vài sai lệch nhỏ do vấn đề ghi log, độ trễ, lỗi công cụ nhỏ, v.v. Tuy nhiên, khi mức sai lệch lớn hơn dự kiến, đó thường là dấu hiệu của một vấn đề nghiêm trọng hơn có thể làm sai lệch và vô hiệu hóa kết quả kiểm thử. Mục tiêu của bài tập này là xem xét các kỹ thuật thống kê giúp bạn phát hiện các trường hợp sai lệch phân bổ quá lớn để có thể đổ cho yếu tố ngẫu nhiên.

Với vai trò kỹ sư phân tích, bạn có thể cần thiết kế và thậm chí tự động hóa các khung kiểm tra sai lệch tỷ lệ mẫu (sample ratio mismatch) trong các bài kiểm thử A/B. DataFrame checkout đã được nạp sẵn cùng với các thư viện pandas và numpy. Hãy coi nhóm đối chứng là thiết kế 'A' của checkout và nhóm xử lý là 'B'.

Hướng dẫn 1/3

undefined XP
    1
    2
    3
  • Tính số người dùng (user_id) duy nhất trong các nhóm 'A' và 'B' và gán tổng số người dùng vào biến total_users.