SRM
Lorsque nous concevons une expérimentation pour répartir des unités d’inscription (par exemple des utilisateurs) selon un pourcentage donné par variante, nous nous attendons à de légères variations dues à des problèmes de journalisation, des délais, de petits bogues d’instrumentation, etc. Cependant, quand cet écart dépasse ce qui est attendu, c’est généralement le signe d’un problème plus important qui pourrait invalider et biaiser les résultats du test. L’objectif de cet exercice est d’examiner les techniques statistiques qui vous permettent de détecter les cas où le décalage d’allocation est trop important pour être attribué au seul hasard.
En tant qu’ingénieur·e analytique, votre rôle peut vous amener à concevoir et même automatiser des cadres de détection des incohérences de ratio d’échantillon (SRM) dans les tests A/B. Le DataFrame checkout est chargé pour vous, ainsi que les bibliothèques pandas et numpy. Considérons le groupe de contrôle comme le design 'A' de checkout et le groupe de traitement comme 'B'.
Cet exercice fait partie du cours
A/B Testing en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)