Delta를 쓸까 말까?

비율(metric) 지표를 분석할 때, 관심 있는 지표의 분석 단위가 무작위화 단위보다 더 세분될 때가 있어요. 예를 들어, user_id를 기준으로 무작위 배정을 하고, 세션당 혹은 페이지뷰당 지표에 대한 변경 효과를 보려고 할 수 있습니다. 이는 유의성 검정에서 사용하는 분산 계산에 관한 몇 가지 가정을 위반합니다. Delta 방법은 이러한 불일치를 보정하는 데 도움이 됩니다.