SRM
Quand nous concevons une expérience pour répartir des unités d'inscription (p. ex., des utilisateurs) selon un pourcentage donné par variante, nous nous attendons à de légères variations attribuables à des enjeux de journalisation, des délais, de petits bogues d'instrumentation, etc. Cependant, lorsque cet écart dépasse ce qui est attendu, c'est généralement le signe d'un problème plus important qui peut invalider et biaiser les résultats du test. L'objectif de cet exercice est d'examiner les méthodes statistiques qui permettent de repérer les cas où l'écart de répartition est trop important pour être attribué au hasard seulement.
À titre d'ingénieur ou d'ingénieure en analytique, votre rôle peut vous amener à concevoir et même à automatiser des cadres pour détecter les écarts de ratio d'échantillon (SRM) dans les tests A/B. Le DataFrame checkout est déjà chargé pour vous, ainsi que les bibliothèques pandas et numpy. Considérons le groupe témoin comme le design checkout « A » et le groupe expérimental comme « B ».
Cette activité fait partie du cours
A/B Testing en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Assign the unqiue counts to each variant
control_users = ____
treatment_users = ____
total_users = ____ + ____
print("Control unique users:",control_users)
print("Control unique users:",treatment_users)