델타 방법(Delta method)
델타 방법은 가장 실용적인 A/B 테스트 응용 기법 중 하나예요. 데이터 사이언티스트로서, 일관된 사용자 경험을 위해 변형별 사용자 배정이 user_id 기반으로 이루어지지만, 분석 단위는 페이지 조회나 세션처럼 더 세분화되는 상황을 자주 만나게 됩니다.
이번 연습 문제에서는 A와 C 변형 간 page_view당 총 order_value의 비율 지표 차이를 분석해 보겠습니다. pandas, numpy와 함께 체크아웃 DataFrame이 로드되어 있으며, 비율 지표의 분산을 추정하는 사전 정의 함수 var_delta()와 비율 지표에 대한 z-검정 함수 ztest_delta()도 준비되어 있어요.
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create DataFrames for per user metrics for variants A and C
A_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='A'].groupby('____')['order_value'].____()
,'page_view':checkout[checkout['checkout_page']=='A'].groupby('____')['user_id'].____()})
C_per_user = pd.____({'order_value':checkout[checkout['checkout_page']=='C'].groupby('____')['order_value'].____()
,'page_view':checkout[checkout['checkout_page']=='C'].groupby('____')['user_id'].____()})