Gecorrigeerde p-waardes
Stel, je bent Data Scientist bij een abonnementsbedrijf. Het webdesignteam zoekt de perfecte CTA-knop (call-to-action) om paginabezoekers te laten inschrijven voor hun dienst. Ze hebben je 4 verschillende ontwerpen laten zien naast de huidige versie.
Na een experiment waarin elke variant met de controle werd vergeleken, heb je een lijst met p-waardes gegenereerd die is ingeladen in de variabele pvals. Ze direct vergelijken met de significantiedrempel zou leiden tot een opgeblazen Type I-foutpercentage. Om dit te voorkomen, kun je de functie smt.multipletests() uit de Python-bibliotheek statsmodels gebruiken om de p-waardes te corrigeren en te testen op statistische significantie met een FWER = 5%.
Deze oefening maakt deel uit van de cursus
A/B-testen in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))