Скориговані p-значення
Уявімо, що ви Data Scientist у компанії з підписною моделлю. Команда вебдизайну добирає найвдалішу кнопку CTA (call-to-action), щоб заохотити відвідувачів сторінки реєструватися на сервіс. Вони запропонували 4 варіанти дизайну на додачу до поточної версії.
Після запуску експерименту, де кожен варіант порівнювався з контролем, ви отримали список p-значень, завантажених у змінну pvals. Якщо напряму порівнювати їх із порогом значущості, зросте частота помилок I типу. Щоб цього уникнути, скористайтеся функцією smt.multipletests() з бібліотеки statsmodels у Python, щоб скоригувати p-значення та перевірити статистичну значущість за FWER = 5%.
Ця вправа є частиною курсу
A/B Testing на Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))