1. 학습
    2. /
  2. 강의
    3. /
  3. Python으로 배우는 고객 분석과 A/B Testing
Connected

연습 문제

통계적 유의성에 대한 직관 쌓기

이 연습에서는 통계적 유의성에 대한 직관을 기르실 거예요. A/B 테스트에서 합리적으로 발생하거나 선택될 수 있는 다양한 매개변수 조합에 대해 get_pvalue() 함수를 사용하면서, 매개변수를 바꿀 때 유의성 결과가 어떻게 달라지는지 살펴보세요. 이를 통해 개념에 대한 감을 잡고, p-value의 미묘한 함정도 확인하실 수 있습니다. 참고로, get_pvalue() 함수의 시그니처는 다음과 같습니다:

def get_pvalue(con_conv, test_conv, con_size, test_size):  
    lift =  - abs(test_conv - con_conv)

    scale_one = con_conv * (1 - con_conv) * (1 / con_size)
    scale_two = test_conv * (1 - test_conv) * (1 / test_size)
    scale_val = (scale_one + scale_two)**0.5

    p_value = 2 * stats.norm.cdf(lift, loc = 0, scale = scale_val )

    return p_value

지침 1/3

undefined XP
  • 1

    0.1의 초기 전환율, 0.17의 테스트 전환율, 그리고 각 그룹에 1000개의 관측치가 있을 때 p-value를 구하세요.

  • 2

    대조군 전환율이 0.1, 테스트 전환율이 0.15, 그리고 각 그룹에 100개의 관측치가 있을 때 p-value를 구하세요.

  • 3

    이제 대조군 전환율이 0.48, 테스트 전환율이 0.50, 그리고 각 그룹에 1000개의 관측치가 있을 때 p-value를 구하세요.