Opravené p-hodnoty
Představ si, že pracuješ jako datový vědec ve společnosti nabízející předplatné. Tým webových designérů hledá ideální CTA (call-to-action) tlačítko, které přiměje návštěvníky stránky k registraci jejich služby. Předložili ti 4 různé návrhy vedle stávající verze.
Po spuštění experimentu, který porovnával každou variantu s kontrolní skupinou, jsi získal seznam p-hodnot uložených v proměnné pvals. Přímé porovnání těchto hodnot s prahem významnosti by vedlo k nadhodnocené míře chyb typu I. Aby ses tomu vyhnul, můžeš použít funkci smt.multipletests() z knihovny statsmodels k opravě p-hodnot a testování statistické významnosti s FWER = 5 %.
Toto cvičení je součástí kurzu
A/B testování v Pythonu
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))