SRM
Когда мы проектируем эксперимент для распределения единиц (например, пользователей) по вариантам в заданных пропорциях, следует ожидать небольших отклонений — из-за проблем с логированием, задержек, незначительных ошибок инструментирования и т. д. Однако если отклонение превышает допустимое, это, как правило, свидетельствует о более серьёзной проблеме, которая может поставить под сомнение результаты теста и внести в них систематическую ошибку. Цель этого упражнения — изучить статистические методы, позволяющие выявлять случаи, когда несоответствие в распределении слишком велико, чтобы списать его на случайность.
Как аналитику данных, вам может потребоваться проектировать и даже автоматизировать фреймворки для обнаружения несоответствий соотношения выборок (SRM) в A/B-тестах. DataFrame checkout уже загружен вместе с библиотеками pandas и numpy. Будем считать контрольной группой вариант оформления 'A' из checkout, а тестовой — вариант 'B'.
Это упражнение является частью курса
A/B-тестирование в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)