Проектирование эксперимента: анализ мощности

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Это упражнение является частью курса

A/B-тестирование в Python

SkillTag.level.intermediateSkillTag.label

4.8+

Начать курс бесплатно

В этой главе вы освоите основы A/B-тестирования. Вы изучите ключевые шаги и варианты применения, разберётесь в причинах и ценности разработки и проведения A/B-тестов, а также познакомитесь с наиболее распространёнными подходами к проектированию метрик и оценочными методами.

Exercise 1: Что такое A/B-тестирование?Exercise 2: Когда A/B-тест не подходит Exercise 3: Этапы A/B тестирования Exercise 4: Эффекты рандомизации Exercise 5: Зачем проводить эксперименты?Exercise 6: Визуализация корреляций Exercise 7: Корреляция или причинность?Exercise 8: Разработка метрик и оценка Exercise 9: Средние значения и пропорции Exercise 10: Метрики показов рекламы

В главе 2 рассматривается процесс проектирования эксперимента. Вы научитесь формулировать сильные гипотезы для A/B-тестирования, изучите статистические концепции — мощность критерия, уровни ошибок и минимально обнаруживаемые эффекты. В конце главы вы освоите оценку необходимого размера выборки для получения достоверных результатов и разберёте сценарии с множественными сравнениями.

Exercise 1: Формулировка гипотез и распределения Exercise 2: Формулировка сильной гипотезы Exercise 3: Построение графиков распределений Exercise 4: Центральная предельная теорема для средних Exercise 5: Дизайн эксперимента: настройка параметров тестирования Exercise 6: Интерпретация p-значений Exercise 7: Ошибки в реальных условиях Exercise 8: Проектирование эксперимента: анализ мощности

Текущее упражнение

Exercise 9: Построение кривых мощности Exercise 10: Размер выборки для средних значений Exercise 11: Размер выборки для пропорций Exercise 12: Тесты на множественные сравнения Exercise 13: Нужна ли поправка на множественные сравнения?Exercise 14: Скорректированные p-значения

Здесь вы познакомитесь с конкретным рабочим процессом очистки, предобработки и исследования данных A/B-тестов, а также изучите необходимые проверки корректности, обеспечивающие достоверность результатов. Глава включает подробное объяснение и пример анализа A/B-тестов на основе разницы в долях.

Exercise 1: Очистка данных и разведочный анализ Exercise 2: Разведочный анализ пропорций Exercise 3: Очистка данных A/B-теста Exercise 4: Проверки корректности: внутренняя валидность Exercise 5: SRM Exercise 6: Баланс распределений Exercise 7: Проверки корректности: внешняя валидность Exercise 8: Обнаружение эффекта новизны Exercise 9: Парадокс Симпсона в действии Exercise 10: Анализ A/B-тестов на основе разности долей Exercise 11: A/B-тест на разницу в долях Exercise 12: Интерпретация доверительных интервалов Exercise 13: Доверительные интервалы для долей

В заключительной главе вы разработаете методы анализа разницы в средних значениях и научитесь применять непараметрические тесты в случаях, когда ряд допущений не выполняется. Вы также узнаете, как использовать дельта-метод при анализе метрик-отношений, и познакомитесь с лучшими практиками и продвинутыми темами для дальнейшего углубления знаний в A/B-тестировании.

Exercise 1: Анализ A/B-тестов для сравнения средних значений Exercise 2: T-тест для разности средних Exercise 3: Попарные t-тесты Exercise 4: Непараметрические статистические тесты Exercise 5: Параметрический или непараметрический?Exercise 6: Критерий Манна–Уитни Exercise 7: Критерий хи-квадрат для проверки независимости Exercise 8: Метрики-отношения и метод дельта Exercise 9: Нужен ли метод Дельта?Exercise 10: Метод дельты Exercise 11: Введение в лучшие практики и продвинутые темы A/B-тестирования Exercise 12: Лучшие практики Exercise 13: Эффект дня недели Exercise 14: Итоги: A/B-тестирование в Python