SRM
Коли ми проєктуємо експеримент і розподіляємо одиниці залучення (наприклад, користувачів) за певними відсотками на варіанти, ми очікуємо невеликі відхилення через проблеми з логуванням, затримки, дрібні збої інструментарію тощо. Однак якщо відхилення більше за очікуване, це зазвичай свідчить про серйознішу проблему, яка може знецінити й змістити результати тесту. Мета цієї вправи — розглянути статистичні прийоми, що допомагають виявляти випадки, коли невідповідність у розподілі надто велика, щоб пояснити її лише випадковістю.
Як аналітик-інженер, ви можете відповідати за розробку й навіть автоматизацію фреймворків для виявлення невідповідностей часток вибірок (sample ratio mismatches) в A/B‑тестах. Датафрейм checkout уже завантажено разом із бібліотеками pandas та numpy. Вважатимемо контрольну групу дизайном checkout 'A', а експериментальну — 'B'.
Ця вправа є частиною курсу
A/B Testing на Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)