다중 비교 보정이 필요할까요?

여러 실험 설계 시나리오에서, 거짓 양성 오류율이 부풀려지는 것을 막기 위해 다중 비교 보정이 필요할 수 있다고 가정해 봅시다. 각 시나리오의 조건을 생각해 보고, 각 실험에서 테스트하는 지표 수, 변형 수, 또는 하위 범주 수가 보정 필요성에 어떤 영향을 미치는지 판단해 보세요.

이 연습은 강의의 일부입니다

Python으로 배우는 A/B Testing

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

이 연습은 강의의 일부입니다

Python으로 배우는 A/B Testing

SkillTag.level.intermediateSkillTag.label

4.8+

무료로 강의 시작하기

이 장에서는 A/B 테스트의 기초를 학습합니다. 명확한 절차와 활용 사례를 살펴보고, A/B 테스트를 설계하고 수행하는 이유와 가치를 이해하며, 가장 널리 쓰이는 지표 설계와 추정 프레임워크를 알아봅니다.

Exercise 1: A/B 테스트란 무엇인가요?Exercise 2: A/B 테스트가 최선이 아닐 때 Exercise 3: A/B 테스트 단계 Exercise 4: 무작위화의 효과 Exercise 5: 왜 실험을 진행할까요?Exercise 6: 상관관계 시각화 Exercise 7: 상관인가, 인과인가?Exercise 8: 지표 설계와 추정 Exercise 9: 평균과 비율 Exercise 10: 광고 노출 지표

2장에서는 실험 설계 프로세스를 다룹니다. 견고한 A/B 테스트 가설을 수립하는 법에서 시작해, 검정력, 오류율, 최소 검출 효과와 같은 통계 개념을 학습합니다. 마지막으로 결론을 도출할 수 있는 적절한 표본 크기를 추정하는 방법을 배우고, 다중 비교가 있는 시나리오도 다룹니다.

Exercise 1: 가설 수립과 분포 Exercise 2: 견고한 가설 수립 Exercise 3: 분포 그리기 Exercise 4: 평균에 대한 중심극한정리 Exercise 5: 실험 설계: 테스트 매개변수 설정 Exercise 6: p-값 해석하기 Exercise 7: 현실 세계의 오류율 Exercise 8: 실험 설계: 검정력 분석 Exercise 9: 파워 커브 그리기 Exercise 10: 평균을 위한 표본 크기 Exercise 11: 비율을 위한 표본 크기 Exercise 12: 다중 비교 검정 Exercise 13: 다중 비교 보정이 필요할까요?

현재 연습

Exercise 14: 보정된 p-값

이 장에서는 A/B 테스트 데이터를 정리, 전처리, 탐색하는 구체적인 워크플로를 익히고, 유효한 결과를 보장하기 위해 필요한 건전성 점검 절차를 학습합니다. 또한 비율 차이를 분석하는 A/B 테스트의 해설과 예제를 자세히 살펴봅니다.

Exercise 1: 데이터 정제와 탐색적 분석 Exercise 2: 비율 EDA Exercise 3: A/B 테스트 데이터 정제 Exercise 4: 건전화 점검: 내부 타당성 Exercise 5: SRM Exercise 6: 분포의 균형 Exercise 7: 건전성 점검: 외적 타당성 Exercise 8: 신규성 효과 감지 Exercise 9: 심슨의 역설 실습 Exercise 10: 비율 차이 A/B 테스트 분석하기 Exercise 11: 비율 차이 A/B 테스트 Exercise 12: 신뢰구간 해석하기 Exercise 13: 비율에 대한 신뢰구간

마지막 장에서는 평균 차이를 분석하는 프레임워크를 익히고, 여러 가정이 충족되지 않을 때 비모수 검정을 활용하는 방법을 배웁니다. 비율 지표를 분석할 때 Delta method를 적용하는 방법을 익히고, 모범 사례와 심화 주제를 살펴보며 A/B 테스트 역량을 한 단계 높입니다.

Exercise 1: 평균 차이 A/B 테스트 분석하기 Exercise 2: 평균 차이를 검정하는 T-검정 Exercise 3: 쌍대 t-검정 Exercise 4: 비모수 통계 검정 Exercise 5: 모수 검정일까요, 비모수 검정일까요?Exercise 6: Mann-Whitney U 검정 Exercise 7: 독립성에 대한 카이제곱 검정 Exercise 8: 비율 지표와 델타 방법 Exercise 9: Delta를 쓸까 말까?Exercise 10: 델타 방법(Delta method)Exercise 11: A/B 테스트 모범 사례와 고급 주제 소개 Exercise 12: 모범 사례 Exercise 13: 요일 효과 Exercise 14: 마무리: Python으로 하는 A/B 테스트