Delta ou pas?
Quand vous analysez des mesures sous forme de ratio, il arrive que l'unité analysée dans la mesure d'intérêt soit plus granulaire que l'unité de randomisation. Par exemple, on peut randomiser sur user_id et chercher à mesurer l'effet de nos changements sur des mesures par session ou par consultation de page. Cela enfreint certaines hypothèses liées au calcul de la variance utilisée dans les tests de signification. La méthode Delta permet de tenir compte de cet écart.
Cette activité fait partie du cours
A/B Testing en Python
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice