開始使用免費開始

校正後的 p 值

想像你是一位在訂閱制公司工作的資料科學家。網頁設計團隊正在尋找最合適的 CTA(call-to-action)按鈕,讓造訪頁面的使用者願意註冊他們的服務。他們除了現行版本外,又提出了 4 種不同的設計。

在執行實驗並將每個變體與控制組比較後,你產生了一份 p 值清單,已載入變數 pvals。若直接拿它們與顯著性門檻比較,會造成第 I 型錯誤率膨脹。為了避免這點,你可以使用 Python statsmodels 函式庫中的 smt.multipletests() 來校正 p 值,並在 FWER = 5% 的條件下檢驗統計顯著性。

本練習屬於課程

Python 的 A/B 測試

檢視課程

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

import statsmodels.stats.multitest as smt

pvals = [0.0126, 0.0005, 0.00007, 0.009]

# Perform a Bonferroni correction and print the output
corrected = smt.____(pvals, alpha = ____, method = '____')

print('Significant Test:', corrected[0])
print('Corrected P-values:', corrected[1])
print('Bonferroni Corrected alpha: {:.4f}'.format(corrected[3]))
編輯並執行程式碼