Analisis Daya - Bagian I
Sekarang kita beralih ke analisis daya (power analysis). Biasanya, Anda ingin memastikan setiap eksperimen atau uji A/B yang dijalankan memiliki daya minimal 80%. Salah satu cara memastikan hal ini adalah dengan menghitung ukuran sampel yang diperlukan untuk mencapai daya 80%.
Misalkan Anda bertanggung jawab atas sebuah situs berita dan ingin meningkatkan durasi waktu yang dihabiskan pengguna di situs Anda. Saat ini, waktu yang dihabiskan pengguna di situs Anda berdistribusi normal dengan mean 1 menit dan simpangan baku 0,5 menit. Anda berencana memperkenalkan fitur pemuatan halaman yang lebih cepat dan ingin mengetahui ukuran sampel yang diperlukan untuk mengukur peningkatan 5% pada waktu yang dihabiskan di situs.
Dalam latihan ini, kita akan menyiapkan kerangka untuk menjalankan satu simulasi, menjalankan t-test, dan menghitung p-value.
Latihan ini adalah bagian dari kursus
Simulasi Statistik di Python
Petunjuk latihan
- Inisialisasi
effect_sizeke 5%,control_meanke 1, dancontrol_sdke 0.5. - Dengan
np.random.normal(), simulasikan satu pengambilancontrol_time_spentdantreatment_time_spentmenggunakan nilai yang Anda inisialisasi. - Jalankan t-test pada
treatment_time_spentdancontrol_time_spentmenggunakanst.ttest_ind()di manastadalahscipy.statsyang sudah diimpor. - Signifikansi statistik
stat_sigharusTruejikap_valuekurang dari 0.05; jika tidak, nilainya harusFalse.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Initialize effect_size, control_mean, control_sd
effect_size, sample_size, control_mean, control_sd = ____, 50, ____, ____
# Simulate control_time_spent and treatment_time_spent, assuming equal variance
control_time_spent = np.random.normal(loc=control_mean, scale=____, size=sample_size)
treatment_time_spent = np.random.normal(loc=____*(1+effect_size), scale=control_sd, size=____)
# Run the t-test and get the p_value
t_stat, p_value = st.ttest_ind(____, ____)
stat_sig = p_value < ____
print("P-value: {}, Statistically Significant? {}".format(p_value, stat_sig))