분포의 균형
A/B 테스트에서 무작위화 편향을 빠르게 점검하는 또 다른 방법은, 변형 간에 변하지 않아야 할 지표와 속성의 분포가 얼마나 균형적인지(또는 불균형적인지) 확인하는 것입니다. 예를 들어, 표본 크기가 충분히 크다고 가정할 때, 특정 기기, 브라우저, 운영체제 비율에 큰 차이가 있다면 내부 설정에 더 큰 문제가 있음을 시사할 수 있어요. 미리 로드된 AdSmart와 checkout 데이터셋을 살펴보고, 속성 분포를 이용해 내부 타당성을 확인해 보세요. 어느 데이터셋이 더 타당한 내부 설정을 갖춘 것으로 보이나요?
Adsmart Kaggle 데이터셋 출처는 여기에서 확인하세요.
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Check the distribution of platform_os by experiment groups
AdSmart.____('____')['____'].____(normalize=____)