Delta o no?

Quando analizzi metriche di rapporto, a volte l’unità analizzata nella metrica di interesse è più granulare dell’unità di randomizzazione. Per esempio, possiamo randomizzare su user_id e provare a esaminare l’impatto delle nostre modifiche su metriche per sessione o per visualizzazione di pagina. Questo viola alcune delle assunzioni usate nel calcolo della varianza nei test di significatività. Il metodo Delta può aiutare a tenere conto di questa discrepanza.