SRM
실험을 설계할 때 각 변형(variant)에 특정 비율로 등록 단위(예: 사용자)를 할당하면, 로깅 이슈, 지연, 경미한 계측 버그 등으로 인해 약간의 변동은 발생할 수 있다고 예상해요. 하지만 그 편차가 예상 범위를 크게 벗어나면, 이는 보통 더 큰 문제가 있음을 시사하며 테스트 결과를 무효화하거나 편향시킬 수 있어요. 이 연습 문제의 목표는, 단순한 우연으로 보기 어려울 만큼 할당 불일치가 큰 경우를 포착할 수 있게 해주는 통계 기법을 살펴보는 것입니다.
분석 엔지니어로서 여러분의 역할은 A/B 테스트에서 샘플 비율 불일치(Sample Ratio Mismatch, SRM)를 포착하기 위한 프레임워크를 설계하고 자동화하는 것까지 포함할 수 있어요. pandas와 numpy 라이브러리와 함께 checkout DataFrame이 로드되어 있습니다. 컨트롤 그룹은 checkout의 디자인 'A', 처리 그룹은 'B'라고 가정해 볼게요.
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)