보정된 p-값
당신은 구독 서비스를 운영하는 회사의 데이터 사이언티스트라고 가정해 볼게요. 웹 디자인 팀은 페이지 방문자가 서비스에 가입하도록 유도하는 최적의 CTA(call-to-action) 버튼을 찾고 있어요. 현재 버전 외에 4가지 다른 디자인을 제안했죠.
각 변형을 대조군과 비교하는 실험을 수행한 후, pvals 변수에 p-값 목록을 생성했습니다. 이를 유의수준과 직접 비교하면 제1종 오류(Type I error)율이 과대 추정될 수 있어요. 이를 피하려면 Python의 statsmodels 라이브러리에서 제공하는 smt.multipletests() 함수를 사용해 p-값을 보정하고 FWER = 5%에서 통계적 유의성을 검정할 수 있습니다.
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))