Test A/B de différence de proportions

Vous êtes data scientist et vous exécutez un test A/B pour comparer les taux d’inscription (conversion) entre deux variantes de page d’accueil, « C » et « D », disponibles dans le jeu de données homepage. Votre mission est d’orienter l’équipe, à partir des résultats du test A/B, afin de décider quelle variante de page d’accueil générerait le taux d’inscription le plus élevé si elle était déployée sur le trafic du site.

homepage est disponible et contient les colonnes signup et landing_page. Chaque ligne du DataFrame correspond à un utilisateur unique ayant visité la landing_page correspondante. La colonne signup contient des données binaires : « 1 » signifie que l’utilisateur s’est inscrit et « 0 » qu’il a quitté la page. pandas et numpy ont été chargés pour vous.

Cet exercice fait partie du cours

A/B Testing en Python

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

from statsmodels.stats.proportion import proportions_ztest, proportion_confint

# Calculate the number of users in groups C and D
n_C = homepage[homepage['____'] == '____']['____'].____()
n_D = homepage[homepage['____'] == '____']['____'].____()
print('Group C users:',n_C)
print('Group D users:',n_D)

Modifier et exécuter le code

Cet exercice fait partie du cours

A/B Testing en Python

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous découvrirez les bases de l’A/B testing. Vous parcourrez des étapes claires et des cas d’usage, comprendrez l’intérêt de concevoir et d’exécuter des tests A/B, et explorerez les cadres les plus utilisés pour la conception des métriques et l’estimation.

Exercise 1: Qu’est-ce qu’un test A/B ?Exercise 2: Quand l’A/B test n’est pas le mieux adapté Exercise 3: Étapes d’un test A/B Exercise 4: Effets de la randomisation Exercise 5: Pourquoi mener des expériences ?Exercise 6: Visualisation des corrélations Exercise 7: Corrélation ou causalité ?Exercise 8: Conception et estimation des métriques Exercise 9: Moyennes et proportions Exercise 10: Métriques des impressions publicitaires

Dans le chapitre 2, vous aborderez le processus de conception d’expériences. À partir de la formulation d’hypothèses solides pour l’A/B testing, vous verrez aussi des notions statistiques comme la puissance, les taux d’erreur et l’effet minimal détectable. Vous terminerez en apprenant à estimer la taille d’échantillon nécessaire pour obtenir des résultats concluants et à traiter les scénarios avec comparaisons multiples.

Exercise 1: Formulation d’hypothèses et distributions Exercise 2: Formuler une hypothèse solide Exercise 3: Tracer des distributions Exercise 4: Théorème central limite pour les moyennes Exercise 5: Conception expérimentale : définir les paramètres du test Exercise 6: Interpréter les p-valeurs Exercise 7: Taux d’erreur dans la pratique Exercise 8: Conception expérimentale : analyse de puissance Exercise 9: Tracer des courbes de puissance Exercise 10: Taille d’échantillon pour des moyennes Exercise 11: Taille d’échantillon pour des proportions Exercise 12: Tests de comparaisons multiples Exercise 13: Faut-il appliquer une correction pour comparaisons multiples?Exercise 14: Valeurs p corrigées

Ici, vous découvrirez un flux de travail concret pour nettoyer, prétraiter et explorer des données d’A/B testing, ainsi que les contrôles de validité indispensables à suivre pour garantir des résultats valides. Vous étudierez une explication détaillée et un exemple d’analyse de tests A/B sur une différence de proportions.

Exercise 1: Nettoyage des données et analyse exploratoire Exercise 2: EDA sur les proportions Exercise 3: Nettoyage des données d’un test A/B Exercise 4: Vérifications de cohérence : validité interne Exercise 5: SRM Exercise 6: Équilibre des distributions Exercise 7: Vérifications de cohérence : validité externe Exercise 8: Détection des effets de nouveauté Exercise 9: Le paradoxe de Simpson à l'œuvre Exercise 10: Analyser les tests A/B de différence de proportions Exercise 11: Test A/B de différence de proportions

Exercice en cours

Exercise 12: Interprétation des intervalles de confiance Exercise 13: Intervalles de confiance pour des proportions

Dans le dernier chapitre, vous développerez des cadres d’analyse des différences de moyennes et apprendrez à utiliser des tests non paramétriques lorsque certaines hypothèses ne sont pas satisfaites. Vous verrez également comment appliquer la méthode Delta pour analyser des métriques de ratio et découvrirez les bonnes pratiques ainsi que quelques sujets avancés pour poursuivre votre maîtrise de l’A/B testing.

Exercise 1: Analyser les tests A/B de différence de moyennes Exercise 2: Test t pour la différence de moyennes Exercise 3: Tests t par paires Exercise 4: Tests statistiques non paramétriques Exercise 5: Paramétrique ou non paramétrique ?Exercise 6: Test U de Mann-Whitney Exercise 7: Test du khi carré d’indépendance Exercise 8: Métriques de ratio et méthode delta Exercise 9: Delta or not?Exercise 10: Méthode Delta Exercise 11: Bonnes pratiques de l’A/B testing et introduction aux sujets avancés Exercise 12: Bonnes pratiques Exercise 13: Effet jour de la semaine Exercise 14: Conclusion : A/B testing en Python