Delta or not?

Lorsque vous analysez des métriques de type ratio, il arrive que l’unité analysée dans la métrique d’intérêt soit plus fine que l’unité de randomisation. Par exemple, on peut randomiser sur user_id et chercher à mesurer l’impact de nos changements sur des métriques par session ou par page vue. Cela viole certaines hypothèses relatives au calcul de la variance utilisée dans les tests de signification. La méthode Delta permet de tenir compte de cet écart.