ПочатиПочніть безкоштовно

Аналіз потужності — Частина I

Тепер переходимо до аналізу потужності. Зазвичай потрібно, щоб будь-який експеримент або A/B‑тест, який ви запускаєте, мав щонайменше 80% потужності. Один зі способів це забезпечити — розрахувати розмір вибірки, потрібний для досягнення 80% потужності.

Припустімо, ви відповідаєте за новинний медіасайт і хочете збільшити час, який користувачі проводять на вашому сайті. Наразі час перебування на сайті має нормальний розподіл із середнім 1 хвилина та стандартним відхиленням 0,5 хвилини. Ви впроваджуєте функцію швидшого завантаження сторінок і хочете дізнатися, який розмір вибірки потрібен, щоб виміряти зростання часу на сайті на 5%.

У цій вправі ми налаштуємо каркас для запуску однієї симуляції, виконаємо t‑тест і обчислимо p‑значення.

Ця вправа є частиною курсу

Статистичне моделювання в Python

Переглянути курс

Інструкції до вправи

  • Ініціалізуйте effect_size як 5%, control_mean як 1 і control_sd як 0,5.
  • За допомогою np.random.normal() змоделюйте по одній вибірці control_time_spent і treatment_time_spent, використовуючи задані значення.
  • Запустіть t‑тест для treatment_time_spent і control_time_spent, використавши st.ttest_ind(), де st — це scipy.stats, який уже імпортовано.
  • Статистична значущість stat_sig має бути True, якщо p_value менше за 0,05, інакше — False.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Initialize effect_size, control_mean, control_sd
effect_size, sample_size, control_mean, control_sd = ____, 50, ____, ____

# Simulate control_time_spent and treatment_time_spent, assuming equal variance
control_time_spent = np.random.normal(loc=control_mean, scale=____, size=sample_size)
treatment_time_spent = np.random.normal(loc=____*(1+effect_size), scale=control_sd, size=____)

# Run the t-test and get the p_value
t_stat, p_value = st.ttest_ind(____, ____)
stat_sig = p_value < ____
print("P-value: {}, Statistically Significant? {}".format(p_value, stat_sig))
Редагувати та запускати код