1. 학습
    2. /
  2. 강의
    3. /
  3. Python으로 배우는 A/B Testing
Connected

연습 문제

SRM

실험을 설계할 때 각 변형(variant)에 특정 비율로 등록 단위(예: 사용자)를 할당하면, 로깅 이슈, 지연, 경미한 계측 버그 등으로 인해 약간의 변동은 발생할 수 있다고 예상해요. 하지만 그 편차가 예상 범위를 크게 벗어나면, 이는 보통 더 큰 문제가 있음을 시사하며 테스트 결과를 무효화하거나 편향시킬 수 있어요. 이 연습 문제의 목표는, 단순한 우연으로 보기 어려울 만큼 할당 불일치가 큰 경우를 포착할 수 있게 해주는 통계 기법을 살펴보는 것입니다.

분석 엔지니어로서 여러분의 역할은 A/B 테스트에서 샘플 비율 불일치(Sample Ratio Mismatch, SRM)를 포착하기 위한 프레임워크를 설계하고 자동화하는 것까지 포함할 수 있어요. pandas와 numpy 라이브러리와 함께 checkout DataFrame이 로드되어 있습니다. 컨트롤 그룹은 checkout의 디자인 'A', 처리 그룹은 'B'라고 가정해 볼게요.

지침 1/3

undefined XP
    1
    2
    3
  • 그룹 'A'와 'B'의 고유 사용자(user_id) 수를 계산하고, 전체 사용자 수를 변수 total_users에 할당하세요.