In this chapter, you’ll learn the foundations of A/B testing. You’ll explore clear steps and use cases, learn the reasons and value of designing and running A/B tests, and discover the most commonly used metrics design and estimation frameworks. 

What is A/B testing?

When an A/B test is not best

A/B testing steps

Randomization effects

Why run experiments?

Correlation visualization

Correlation or causation?

Metrics design and estimation

Means and proportions

Ad impressions metrics

Overview of A/B Testing

In Chapter 2, you’ll cover the experiment design process. Starting with learning how to formulate strong A/B testing hypotheses, you’ll also cover statistical concepts such as power, error rates, and minimum detectable effects. You’ll finish the chapter by learning to estimate the appropriate sample size needed to yield conclusive results and tackle scenarios with multiple comparisons.

Hypothesis formulation and distributions

Strong hypothesis formulation

Plotting distributions

Central limit theorem for means

Experimental design: setting up testing parameters

Interpreting p-values

Error rates in the wild

Experimental design: power analysis

Plotting power curves

Sample size for means

Sample size for proportions

Multiple comparisons tests

Is a multiple comparisons correction needed?

Corrected p-values

Experiment Design and Planning

Here, you’ll discover a concrete workflow for cleaning, preprocessing, and exploring AB testing data, as well as learn the necessary sanity checks we need to follow to ensure valid results. You’ll explore a detailed explanation and example of analyzing difference in proportions A/B tests.

Data cleaning and exploratory analysis

Proportions EDA

A/B  test data cleaning

Sanity checks: Internal validity

Distributions balance

Sanity checks: external validity

Novelty effects detection

Simpson's paradox in action

Analyzing difference in proportions A/B tests

Difference in proportions A/B test

Interpretation of confidence intervals

Confidence intervals for proportions

Data Processing, Sanity Checks, and Results Analysis

In the final chapter, you’ll develop frameworks for analyzing differences in means and leveraging non-parametric tests when several assumptions aren't met. You’ll also learn how to apply the Delta method when analyzing ratio metrics and discover the best practices and some advanced topics to continue the A/B testing mastery journey.

Verschillen in gemiddelden in A/B-tests analyseren

T-test voor verschil in gemiddelden

Paarsgewijze t-toetsen

Niet-parametrische statistische toetsen

Opties

Parametrisch

Niet-parametrisch

Parametrisch of niet-parametrisch?

Mann-Whitney U-toets

Chi-kwadraattoets voor onafhankelijkheid

Ratiometrieken en de delta-methode

Delta-methode

Delta niet nodig

Delta of niet?

Intro: best practices en geavanceerde onderwerpen voor A/B-testen

Best practices

Dag-van-de-week-effect

Afronding: A/B-testen in Python

Practical Considerations and Making Decisions

checkout

admissions

In deze cursus duik je in A/B-testen door te leren hoe je deze testen ontwerpt, uitvoert en analyseert in Python. Je begint met het definiëren van de juiste statistieken en schat vervolgens de benodigde steekproefgrootte en duur om tot overtuigende resultaten te komen. Door de hele cursus gebruik je diverse Python-pakketten voor A/B-testen, waaronder statsmodels, scipy en pingouin. Aan het eind kun je controles uitvoeren die nauwkeurige resultaten waarborgen, beheers je p-values en analyseer je de uitkomsten van A/B-testen met gemak en vertrouwen om cruciale zakelijke beslissingen te onderbouwen.

In deze cursus duik je in de wereld van A/B-testen, krijg je een goed begrip van de praktische toepassingen en leer je hoe je deze A/B-testen in Python kunt ontwerpen, uitvoeren en analyseren.
<br><br>
<h2>Ontdek hoe A/B-tests werken</h2>
<br><br>
Wist je dat je bijna zeker meedoet aan een A/B-test elke keer dat je op internet surft? Van zoekmachines en e-commerce sites tot sociale netwerken en marketingcampagnes — alle bedrijven huren de beste data-analisten, wetenschappers en ingenieurs in om de kracht van AB-testen te benutten. Door verschillende varianten te testen, kun je de klantervaring verbeteren, je winst verhogen, het volgende beste ontwerp maken en nog veel meer.
<br><br>
<h2>Meer weten over A/B-testen in Python</h2>
<br><br>
Je begint met te leren hoe je de juiste statistieken kunt bepalen, voordat je leert hoe je de juiste steekproefgrootte en duur kunt schatten om betrouwbare resultaten te krijgen. Tijdens deze cursus gebruik je verschillende Python-pakketten om te helpen bij A/B-testen, zoals statsmodels, scipy en pingouin.
<br><br>
Aan het einde van de cursus kun je de nodige controles uitvoeren om nauwkeurige resultaten te garanderen, ben je helemaal thuis in p-waarden en kun je de resultaten van A/B-tests makkelijk en vol vertrouwen analyseren om de belangrijkste zakelijke beslissingen te nemen.

Hypothesis Testing in Python

Leer praktische toepassingen van A/B-testen in Python. Beheers p-waarden, controles en analyses.

A/B-testen in Python

Toegepaste statistiek in Python

Principal Data Science Manager

Analyse van verschil in gemiddelden A/B-tests

Kader voor verschil in gemiddelden

Pingouin t-test

Pingouin pairwise

Laten we oefenen!

Practical Considerations and Making Decisions - Verschillen in gemiddelden in A/B-tests analyseren

Verschillen in gemiddelden in A/B-tests analyseren

Create Your Free Account