Обнаружение эффекта новизны
Эффект новизны возникает чаще, чем можно было бы ожидать от большинства специалистов по данным и инженеров. Одна из типичных ошибок начинающих аналитиков — запустить A/B-тест для новой интересной функции и принять решение сразу после того, как в первые несколько дней показатели резко выросли.
Набор данных novelty, который уже загружен для вас, содержит информацию о разнице в среднем времени на странице на пользователя (ToP) между двумя вариантами. Изучите результаты в динамике и определите, есть ли признаки эффекта новизны. Стоит ли включать в анализ все результаты с начала и до конца теста?
Это упражнение является частью курса
A/B-тестирование в Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()