सही किए गए p-values
मान लीजिए आप एक सब्सक्रिप्शन कंपनी में Data Scientist हैं। वेब डिज़ाइन टीम ऐसा परफेक्ट CTA (call-to-action) बटन ढूँढ रही है जो पेज विज़िटर्स को उनकी सर्विस के लिए साइन अप करने के लिए प्रेरित करे। उन्होंने मौजूदा वर्ज़न के अलावा 4 अलग-अलग डिज़ाइन आपके सामने रखे हैं.
प्रत्येक वैरिएंट की तुलना कंट्रोल से करके एक प्रयोग चलाने के बाद, आपने p-values की एक सूची बनाई जो pvals वैरिएबल में लोड है। इन्हें सीधे significance threshold से तुलना करने पर Type I error rate अनावश्यक रूप से बढ़ जाएगा। इसे टालने के लिए, आप Python की statsmodels लाइब्रेरी के smt.multipletests() फंक्शन का उपयोग करके p-values को correct कर सकते हैं और FWER = 5% के साथ सांख्यिकीय महत्व का परीक्षण कर सकते हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Python में A/B Testing
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
import statsmodels.stats.multitest as smt
pvals = [0.0126, 0.0005, 0.00007, 0.009]
# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')
print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))