요일 효과
A/B 테스트는 날씨나 공휴일 같은 외부 변수를 통제할 수 있지만, 일부 처치는 다른 처치보다 더 강하거나 약한 효과를 보일 수 있어 변동이 큰 시기에 사용자 행동을 온전히 포착하려면 추가로 고려해야 해요. 추적하는 지표에 따라 A/B 테스트를 정확히 일주일 단위로 운영해야 할 수도 있습니다. 일부 지표는 계절성을 띠며 공휴일, 주말 등의 영향을 받지만, 다른 지표는 변동이 크지 않을 수 있어요. 데이터 과학자인 여러분이 필요한 표본 크기에 도달했을 때 테스트를 종료해도 되는지, 아니면 요일 효과 같은 계절 효과를 반영하기 위해 며칠 더 연장해야 하는지 팀에 조언해 주셔야 합니다.
불러와 둔 novelty 데이터셋을 살펴보고, 일주일 단위로 운영해야 하는 지표를 골라 주세요. pandas와 matplotlib도 이미 로드되어 있어요.
이 연습은 강의의 일부입니다
Python으로 배우는 A/B Testing
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a line plot
novelty.____('____', '____')
plt.title('Purchase Rate Over Test Duration')
plt.ylabel('Purchase Rate [%]')
plt.ylim([0, 0.04])
plt.show()