Delta чи ні?

Коли ви аналізуєте відносні метрики, іноді одиниця, за якою обчиснюється метрика інтересу, є більш детальною, ніж одиниця рандомізації. Наприклад, ми можемо рандомізувати за user_id, а вплив змін оцінювати на рівні сесії або перегляду сторінки. Це порушує деякі припущення щодо розрахунку дисперсії, яку ми використовуємо у тестах значущості. Метод Дельта допомагає врахувати цю невідповідність.

Ця вправа є частиною курсу

A/B Testing на Python

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

A/B Testing на Python

SkillTag.level.intermediateSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви вивчите основи A/B‑тестування. Розглянете чіткі кроки та приклади застосування, зрозумієте, навіщо і яку користь дає проєктування та проведення A/B‑тестів, а також ознайомитеся з найуживанішими підходами до розробки метрик і рамками оцінювання.

Exercise 1: Що таке A/B‑тестування?Exercise 2: Коли A/B‑тест — не найкращий вибір Exercise 3: Кроки A/B‑тестування Exercise 4: Ефекти рандомізації Exercise 5: Навіщо проводити експерименти?Exercise 6: Візуалізація кореляцій Exercise 7: Кореляція чи причинність?Exercise 8: Проєктування метрик та оцінювання Exercise 9: Середні значення та частки Exercise 10: Метрики показів реклами

У розділі 2 ви опanuєте процес проєктування експерименту. Почнете з формулювання переконливих гіпотез для A/B‑тестування, а також розглянете статистичні поняття, як‑от потужність, рівні помилок і мінімально виявлюваний ефект. Завершите розділ умінням оцінювати потрібний розмір вибірки для отримання однозначних результатів і розв'язувати задачі з множинними порівняннями.

Exercise 1: Формулювання гіпотез і розподіли Exercise 2: Формулювання сильної гіпотези Exercise 3: Побудова розподілів Exercise 4: Центральна гранична теорема для середніх Exercise 5: Проєктування експерименту: налаштування параметрів тестування Exercise 6: Інтерпретація p-значень Exercise 7: Рівні помилок у реальних умовах Exercise 8: Дизайн експерименту: аналіз потужності Exercise 9: Побудова кривих потужності Exercise 10: Розмір вибірки для середніх Exercise 11: Розмір вибірки для часток Exercise 12: Тести з множинними порівняннями Exercise 13: Чи потрібна корекція для множинних порівнянь?Exercise 14: Скориговані p-значення

Тут ви опануєте практичний робочий процес очищення, попередньої обробки та дослідження даних A/B‑тестів, а також необхідні sanity‑перевірки для забезпечення валідності результатів. Ви розглянете докладне пояснення й приклад аналізу A/B‑тестів на різницю часток.

Exercise 1: Очищення даних та розвідувальний аналіз Exercise 2: Розвідувальний аналіз часток (EDA)Exercise 3: Очищення даних для A/B‑тесту Exercise 4: Перевірки коректності: внутрішня валідність Exercise 5: SRM Exercise 6: Збалансованість розподілів Exercise 7: Перевірки коректності: зовнішня валідність Exercise 8: Виявлення ефекту новизни Exercise 9: Парадокс Сімпсона в дії Exercise 10: Аналіз різниці часток в A/B‑тестах Exercise 11: Тест A/B на різницю часток Exercise 12: Інтерпретація довірчих інтервалів Exercise 13: Довірчі інтервали для часток

У фінальному розділі ви розробите підходи до аналізу різниці середніх і застосування непараметричних тестів, коли кілька припущень не виконуються. Також навчитеся застосовувати метод дельти під час аналізу відносних метрик і дізнаєтеся найкращі практики та деякі поглиблені теми для подальшого вдосконалення у сфері A/B‑тестування.

Exercise 1: Аналізування різниці середніх у A/B‑тестах Exercise 2: T-тест для різниці середніх Exercise 3: Парні t-тести Exercise 4: Непараметричні статистичні тести Exercise 5: Параметричний чи непараметричний?Exercise 6: Критерій Манна — Вітні Exercise 7: Критерій хі-квадрат на незалежність Exercise 8: Релятивні метрики та метод дельти Exercise 9: Delta чи ні?

Поточна вправа

Exercise 10: Метод Дельта Exercise 11: Вступ до найкращих практик A/B-тестування та просунутих тем Exercise 12: Найкращі практики Exercise 13: Ефект дня тижня Exercise 14: Підсумок: A/B testing у Python