Düzeltilmiş p-değerleri
Bir abonelik şirketinde çalışan bir Veri Bilimcisi olduğunu hayal et. Web tasarım ekibi, ziyaretçileri hizmete kaydolmaya teşvik edecek en iyi CTA (call-to-action) düğmesini bulmaya çalışıyor. Mevcut sürüme ek olarak sana 4 farklı tasarım sundular.
Her varyantı kontrol ile karşılaştıran bir deney çalıştırdıktan sonra, pvals değişkenine yüklenen bir p-değeri listesi oluşturdun. Bunları doğrudan anlamlılık eşiğiyle karşılaştırmak, Tip I hata oranını gereğinden fazla artırır. Bunu önlemek için Python’daki statsmodels kütüphanesinden smt.multipletests() fonksiyonunu kullanarak p-değerlerini düzeltebilir ve FWER = %5 ile istatistiksel anlamlılığı test edebilirsin.
Bu egzersiz
Python ile A/B Testi
kursunun bir parçasıdırUygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))