Скорректированные p-значения
Представьте, что вы работаете специалистом по данным в компании, предоставляющей сервис по подписке. Команда веб-дизайна ищет идеальную кнопку призыва к действию (CTA), которая побудит посетителей страницы зарегистрироваться. Вам предложили 4 варианта дизайна в дополнение к текущей версии.
После проведения эксперимента, в котором каждый вариант сравнивался с контрольным, вы получили список p-значений, сохранённых в переменной pvals. Прямое сравнение с порогом значимости привело бы к завышенному уровню ошибки первого рода. Чтобы этого избежать, воспользуйтесь функцией smt.multipletests() из библиотеки statsmodels для корректировки p-значений и проверки статистической значимости при FWER = 5%.
Это упражнение является частью курса
A/B-тестирование в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))