신규성 효과 감지

신규성 효과는 많은 Data Scientist와 Engineer가 예상하는 것보다 더 자주 발생합니다. 멋진 신규 기능 하나로 A/B 테스트를 실행한 뒤, 처음 며칠간 사용 지표가 크게 상승했다고 해서 바로 결론을 내리는 것은 주니어 분석가들이 흔히 하는 실수입니다.

여러분께 로드된 novelty 데이터셋에는 두 변형 간 사용자당 페이지 체류 시간( Time on Page, ToP )의 평균 차이에 대한 정보가 담겨 있습니다. 시간이 지남에 따라 결과를 살펴보고 신규성 효과의 징후가 있는지 확인해 보세요. 테스트 시작부터 종료까지의 모든 결과를 그대로 포함하시겠습니까?