Foutpercentages in de praktijk

Foutpercentages komen voor in meerdere data science-onderwerpen, zoals Machine Learning en A/B-testen. Laten we zorgen dat je precies begrijpt wat ze betekenen.

Welke van de volgende uitspraken over foutpercentages is waar?

Deze oefening maakt deel uit van de cursus

A/B-testen in Python

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Deze oefening maakt deel uit van de cursus

A/B-testen in Python

SkillTag.level.intermediateSkillTag.label

4.8+

Begin gratis met de cursus

In dit hoofdstuk leer je de basis van A/B-testen. Je verkent duidelijke stappen en use-cases, ontdekt waarom het waardevol is om A/B-testen te ontwerpen en uit te voeren, en maakt kennis met de meest gebruikte raamwerken voor het ontwerpen van statistieken en het schatten ervan.

Exercise 1: Wat is A/B-testen?Exercise 2: Wanneer een A/B-test niet de beste keuze is Exercise 3: Stappen van A/B-testen Exercise 4: Effecten van randomisatie Exercise 5: Waarom experimenten uitvoeren?Exercise 6: Correlatievisualisatie Exercise 7: Correlatie of causaliteit?Exercise 8: Ontwerp van metrics en schatting Exercise 9: Gemiddelden en proporties Exercise 10: Advertentie-impressie-metrieken

In hoofdstuk 2 behandel je het ontwerpproces van experimenten. Je begint met het formuleren van sterke A/B-testhypothesen en behandelt vervolgens statistische concepten zoals power, foutpercentages en minimaal detecteerbare effecten. Je sluit het hoofdstuk af met het schatten van de juiste steekproefgrootte voor overtuigende resultaten en het aanpakken van scenario’s met multiple comparisons.

Exercise 1: Hypothesevorming en verdelingen Exercise 2: Sterke hypotheseformulering Exercise 3: Distributies plotten Exercise 4: Centrale limietstelling voor gemiddelden Exercise 5: Experimenteel ontwerp: testparameters instellen Exercise 6: P-waarden interpreteren Exercise 7: Foutpercentages in de praktijk

Huidige oefening

Exercise 8: Experimenteel ontwerp: poweranalyse Exercise 9: Powercurves plotten Exercise 10: Steekproefgrootte voor gemiddelden Exercise 11: Steekproefgrootte voor proporties Exercise 12: Toetsen voor multiple comparisons Exercise 13: Is een correctie voor multiple comparisons nodig?Exercise 14: Gecorrigeerde p-waardes

Hier ontdek je een concrete workflow voor het opschonen, voorbewerken en verkennen van A/B-testgegevens, én leer je welke sanity checks nodig zijn om geldige resultaten te garanderen. Je bestudeert een gedetailleerde uitleg en een voorbeeld van het analyseren van A/B-testen met verschillen in proporties.

Exercise 1: Gegevens opschonen en verkennende analyse Exercise 2: Verkennende analyse van proporties (EDA)Exercise 3: A/B-testgegevens opschonen Exercise 4: Sanity checks: interne validiteit Exercise 5: SRM Exercise 6: Verdelingen in balans Exercise 7: Sanity checks: externe validiteit Exercise 8: Nieuwigheidseffecten opsporen Exercise 9: Simpson's paradox in actie Exercise 10: Analyse van A/B-tests met verschil in proporties Exercise 11: A/B-test voor verschil in proporties Exercise 12: Interpretatie van betrouwbaarheidsintervallen Exercise 13: Betrouwbaarheidsintervallen voor proporties

In het laatste hoofdstuk ontwikkel je raamwerken voor het analyseren van verschillen in gemiddelden en zet je niet-parametrische toetsen in wanneer aannames niet worden gehaald. Je leert ook de Delta-methode toepassen bij het analyseren van verhoudingstatistieken en ontdekt best practices en enkele geavanceerde onderwerpen om je A/B-testexpertise verder uit te bouwen.

Exercise 1: Verschillen in gemiddelden in A/B-tests analyseren Exercise 2: T-test voor verschil in gemiddelden Exercise 3: Paarsgewijze t-toetsen Exercise 4: Niet-parametrische statistische toetsen Exercise 5: Parametrisch of niet-parametrisch?Exercise 6: Mann-Whitney U-toets Exercise 7: Chi-kwadraattoets voor onafhankelijkheid Exercise 8: Ratiometrieken en de delta-methode Exercise 9: Delta of niet?Exercise 10: Delta-methode Exercise 11: Intro: best practices en geavanceerde onderwerpen voor A/B-testen Exercise 12: Best practices Exercise 13: Dag-van-de-week-effect Exercise 14: Afronding: A/B-testen in Python