Виявлення ефекту новизни
Ефекти новизни трапляються частіше, ніж очікують більшість Data Scientists та інженерів. Запустити A/B‑тест для нової «класної» фічі й ухвалити рішення після різкого стрибка метрик використання у перші кілька днів — одна з типових помилок, у яку потрапляють початківці аналітики.
Набір даних novelty, який для вас завантажено, містить інформацію про різницю в середньому часі на сторінці на користувача (Time on Page, ToP) між двома варіантами. Проаналізуйте результати в часовій динаміці та перевірте, чи є ознаки ефекту новизни. Чи включили б ви всі результати від початку й до кінця тесту?
Ця вправа є частиною курсу
A/B Testing на Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()