이 장에서는 A/B 테스트의 기초를 학습합니다. 명확한 절차와 활용 사례를 살펴보고, A/B 테스트를 설계하고 수행하는 이유와 가치를 이해하며, 가장 널리 쓰이는 지표 설계와 추정 프레임워크를 알아봅니다.

A/B 테스트란 무엇인가요?

A/B 테스트가 최선이 아닐 때

A/B 테스트 단계

무작위화의 효과

왜 실험을 진행할까요?

상관관계 시각화

상관인가, 인과인가?

지표 설계와 추정

평균과 비율

광고 노출 지표

A/B 테스트 개요

2장에서는 실험 설계 프로세스를 다룹니다. 견고한 A/B 테스트 가설을 수립하는 법에서 시작해, 검정력, 오류율, 최소 검출 효과와 같은 통계 개념을 학습합니다. 마지막으로 결론을 도출할 수 있는 적절한 표본 크기를 추정하는 방법을 배우고, 다중 비교가 있는 시나리오도 다룹니다.

가설 수립과 분포

견고한 가설 수립

분포 그리기

평균에 대한 중심극한정리

실험 설계: 테스트 매개변수 설정

옵션

올바른 해석

잘못된 해석

p-값 해석하기

현실 세계의 오류율

실험 설계: 검정력 분석

파워 커브 그리기

평균을 위한 표본 크기

비율을 위한 표본 크기

다중 비교 검정

Options

다중 비교 보정 필요

보정 불필요

다중 비교 보정이 필요할까요?

보정된 p-값

실험 설계와 계획

이 장에서는 A/B 테스트 데이터를 정리, 전처리, 탐색하는 구체적인 워크플로를 익히고, 유효한 결과를 보장하기 위해 필요한 건전성 점검 절차를 학습합니다. 또한 비율 차이를 분석하는 A/B 테스트의 해설과 예제를 자세히 살펴봅니다.

데이터 정제와 탐색적 분석

비율 EDA

A/B 테스트 데이터 정제

건전화 점검: 내부 타당성

분포의 균형

건전성 점검: 외적 타당성

신규성 효과 감지

심슨의 역설 실습

비율 차이 A/B 테스트 분석하기

비율 차이 A/B 테스트

신뢰구간 해석하기

비율에 대한 신뢰구간

데이터 처리, 건전성 점검, 결과 분석

마지막 장에서는 평균 차이를 분석하는 프레임워크를 익히고, 여러 가정이 충족되지 않을 때 비모수 검정을 활용하는 방법을 배웁니다. 비율 지표를 분석할 때 Delta method를 적용하는 방법을 익히고, 모범 사례와 심화 주제를 살펴보며 A/B 테스트 역량을 한 단계 높입니다.

평균 차이 A/B 테스트 분석하기

평균 차이를 검정하는 T-검정

쌍대 t-검정

비모수 통계 검정

모수 검정일까요, 비모수 검정일까요?

Mann-Whitney U 검정

독립성에 대한 카이제곱 검정

비율 지표와 델타 방법

Delta를 쓸까 말까?

델타 방법(Delta method)

A/B 테스트 모범 사례와 고급 주제 소개

모범 사례

요일 효과

마무리: Python으로 하는 A/B 테스트

실무 고려사항과 의사결정

admissions

checkout

이 강의에서는 Python을 사용해 A/B 테스트를 설계하고, 실행하고, 분석하는 방법을 배웁니다. 먼저 올바른 지표를 정의하는 것에서 시작해, 결론을 내릴 수 있는 적절한 표본 크기와 실험 기간을 추정하는 방법을 익혀요. 강의 전반에 걸쳐 statsmodels, scipy, pingouin 등 다양한 Python 패키지를 활용해 A/B 테스트를 수행합니다. 강의가 끝나면 정확한 결과를 보장하는 점검을 실행하고, p-value 해석을 익히며, 핵심 비즈니스 의사결정을 이끌 수 있도록 A/B 테스트 결과를 자신 있게 분석할 수 있게 됩니다.

이 강의에서는 A/B 테스트의 세계를 깊이 있게 탐구하고, 실제 활용 사례를 깊이 이해하며, Python으로 이러한 A/B 테스트를 설계하고 실행하고 분석하는 방법을 배우게 됩니다.
<br><br>
<h2>A/B 테스트가 어떻게 작동하는지 알아보세요</h2>
<br><br>
인터넷을 사용할 때마다 거의 확실하게 A/B 테스트에 참여하게 된다는 사실을 알고 계셨나요? 검색 엔진과 전자상거래 사이트부터 소셜 네트워크와 마케팅 캠페인에 이르기까지 — 모든 기업은 AB 테스트의 힘을 활용하기 위해 최고의 데이터 분석가, 과학자, 엔지니어를 채용합니다. 다양한 변형을 테스트하면 고객 경험을 최적화하고, 수익을 극대화하며, 다음에 가장 적합한 디자인을 결정하는 데 도움이 되는 등 여러 가지 이점을 얻을 수 있습니다.
<br><br>
<h2>Python에서 A/B 테스트 배우기</h2>
<br><br>
적절한 결과를 도출하기 위해 적절한 표본 크기와 기간을 추정하는 방법을 배우기 전에, 먼저 올바른 지표를 정의하는 방법부터 배우게 됩니다. 이 강의 전반에 걸쳐 statsmodels, scipy, pingouin을 비롯한 다양한 Python 패키지를 사용하여 A/B 테스트를 진행하게 됩니다.
<br><br>
강의가 끝날 무렵에는 정확한 결과를 보장하는 데 필요한 검증을 수행하고, p-value의 핵심을 익히며, A/B 테스트 결과를 쉽고 자신 있게 분석하여 가장 중요한 비즈니스 의사결정을 이끌 수 있게 됩니다.

Hypothesis Testing in Python

Python에서 A/B 테스트의 실용적 사용법을 배우고, p-값, 검증 및 분석을 통해 비즈니스 결정을 안내하세요.

Python으로 배우는 A/B Testing

Python으로 A/B 테스트를 수행·분석하는 실전 방법을 학습하세요. p-value, sanity check, 분석을 익혀 비즈니스 의사결정을 이끕니다.

실험 설계: 테스트 매개변수 설정

Create Your Free Account