Centrale limietstelling voor gemiddelden

Ongeacht de verdeling van de data stelt de centrale limietstelling (CLT) ons, naast andere voordelen, in staat om normaliteit aan te nemen voor de steekproefverdelingen van veelgebruikte A/B-teststatistieken zoals gemiddelden, sommen, proporties, standaardafwijkingen en percentielen. Toetsen voor statistische significantie die normaliteit veronderstellen, kunnen daarom eenvoudig worden toegepast in dit soort situaties om stevige conclusies over onze experimenten te trekken.

Het doel van deze oefening is te laten zien hoe de CLT geldt voor verschillende verdelingen en om de kracht ervan te waarderen.

Het volgende is alvast voor je geladen:

de checkout DataFrame
pandas als pd
numpy als np
matplotlib als plt
seaborn als sns

Deze oefening maakt deel uit van de cursus

A/B-testen in Python

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

A/B-testen in Python

SkillTag.level.intermediateSkillTag.label

4.8+

Begin gratis met de cursus

In dit hoofdstuk leer je de basis van A/B-testen. Je verkent duidelijke stappen en use-cases, ontdekt waarom het waardevol is om A/B-testen te ontwerpen en uit te voeren, en maakt kennis met de meest gebruikte raamwerken voor het ontwerpen van statistieken en het schatten ervan.

Exercise 1: Wat is A/B-testen?Exercise 2: Wanneer een A/B-test niet de beste keuze is Exercise 3: Stappen van A/B-testen Exercise 4: Effecten van randomisatie Exercise 5: Waarom experimenten uitvoeren?Exercise 6: Correlatievisualisatie Exercise 7: Correlatie of causaliteit?Exercise 8: Ontwerp van metrics en schatting Exercise 9: Gemiddelden en proporties Exercise 10: Advertentie-impressie-metrieken

In hoofdstuk 2 behandel je het ontwerpproces van experimenten. Je begint met het formuleren van sterke A/B-testhypothesen en behandelt vervolgens statistische concepten zoals power, foutpercentages en minimaal detecteerbare effecten. Je sluit het hoofdstuk af met het schatten van de juiste steekproefgrootte voor overtuigende resultaten en het aanpakken van scenario’s met multiple comparisons.

Exercise 1: Hypothesevorming en verdelingen Exercise 2: Sterke hypotheseformulering Exercise 3: Distributies plotten Exercise 4: Centrale limietstelling voor gemiddelden

Huidige oefening

Exercise 5: Experimenteel ontwerp: testparameters instellen Exercise 6: P-waarden interpreteren Exercise 7: Foutpercentages in de praktijk Exercise 8: Experimenteel ontwerp: poweranalyse Exercise 9: Powercurves plotten Exercise 10: Steekproefgrootte voor gemiddelden Exercise 11: Steekproefgrootte voor proporties Exercise 12: Toetsen voor multiple comparisons Exercise 13: Is een correctie voor multiple comparisons nodig?Exercise 14: Gecorrigeerde p-waardes

Hier ontdek je een concrete workflow voor het opschonen, voorbewerken en verkennen van A/B-testgegevens, én leer je welke sanity checks nodig zijn om geldige resultaten te garanderen. Je bestudeert een gedetailleerde uitleg en een voorbeeld van het analyseren van A/B-testen met verschillen in proporties.

Exercise 1: Gegevens opschonen en verkennende analyse Exercise 2: Verkennende analyse van proporties (EDA)Exercise 3: A/B-testgegevens opschonen Exercise 4: Sanity checks: interne validiteit Exercise 5: SRM Exercise 6: Verdelingen in balans Exercise 7: Sanity checks: externe validiteit Exercise 8: Nieuwigheidseffecten opsporen Exercise 9: Simpson's paradox in actie Exercise 10: Analyse van A/B-tests met verschil in proporties Exercise 11: A/B-test voor verschil in proporties Exercise 12: Interpretatie van betrouwbaarheidsintervallen Exercise 13: Betrouwbaarheidsintervallen voor proporties

In het laatste hoofdstuk ontwikkel je raamwerken voor het analyseren van verschillen in gemiddelden en zet je niet-parametrische toetsen in wanneer aannames niet worden gehaald. Je leert ook de Delta-methode toepassen bij het analyseren van verhoudingstatistieken en ontdekt best practices en enkele geavanceerde onderwerpen om je A/B-testexpertise verder uit te bouwen.

Exercise 1: Verschillen in gemiddelden in A/B-tests analyseren Exercise 2: T-test voor verschil in gemiddelden Exercise 3: Paarsgewijze t-toetsen Exercise 4: Niet-parametrische statistische toetsen Exercise 5: Parametrisch of niet-parametrisch?Exercise 6: Mann-Whitney U-toets Exercise 7: Chi-kwadraattoets voor onafhankelijkheid Exercise 8: Ratiometrieken en de delta-methode Exercise 9: Delta of niet?Exercise 10: Delta-methode Exercise 11: Intro: best practices en geavanceerde onderwerpen voor A/B-testen Exercise 12: Best practices Exercise 13: Dag-van-de-week-effect Exercise 14: Afronding: A/B-testen in Python