Skorygowane wartości p
Wyobraź sobie, że jesteś Data Scientistem pracującym dla firmy oferującej subskrypcje. Zespół projektantów stron internetowych szuka idealnego przycisku CTA (call-to-action), który zachęci odwiedzających do rejestracji. Przedstawiono ci 4 różne projekty oprócz obecnej wersji.
Po przeprowadzeniu eksperymentu porównującego każdy wariant z grupą kontrolną uzyskałeś listę wartości p zapisaną w zmiennej pvals. Bezpośrednie porównanie ich z progiem istotności prowadziłoby do zawyżonego współczynnika błędów I rodzaju. Aby temu zapobiec, użyj funkcji smt.multipletests() z biblioteki statsmodels, aby skorygować wartości p i przeprowadzić test istotności statystycznej przy FWER = 5%.
To ćwiczenie jest częścią kursu
Testy A/B w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))