신규성 효과 감지
신규성 효과는 많은 Data Scientist와 Engineer가 예상하는 것보다 더 자주 발생합니다. 멋진 신규 기능 하나로 A/B 테스트를 실행한 뒤, 처음 며칠간 사용 지표가 크게 상승했다고 해서 바로 결론을 내리는 것은 주니어 분석가들이 흔히 하는 실수입니다.
여러분께 로드된 novelty 데이터셋에는 두 변형 간 사용자당 페이지 체류 시간( Time on Page, ToP )의 평균 차이에 대한 정보가 담겨 있습니다. 시간이 지남에 따라 결과를 살펴보고 신규성 효과의 징후가 있는지 확인해 보세요. 테스트 시작부터 종료까지의 모든 결과를 그대로 포함하시겠습니까?
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Plot ToP_lift over the test dates
____.____('____', '____')
plt.title('Lift in Time-on-Page Over Test Duration')
plt.ylabel('Minutes')
plt.ylim([0, 20])
plt.show()