Test t pour la différence de moyennes

Vous êtes scientifique des données dans une entreprise de commerce électronique et vous devez aider l'équipe des paiements à choisir la conception de la page de passage à la caisse qui mène à une valeur de commande plus élevée et à des décisions d'achat plus rapides.

Après avoir estimé la taille d'échantillon requise et effectué toutes les vérifications de cohérence, vous analyserez les différences de moyenne de order_value et de time_on_page entre les variantes de checkout_page afin de déterminer laquelle performe le mieux.

Le DataFrame checkout est disponible, et pingouin, pandas et numpy ont été chargés pour vous.

Les valeurs NaN dans order_value peuvent indiquer des utilisateurs qui n'ont pas finalisé l'achat. Vous analyserez la valeur moyenne des commandes uniquement parmi les commandes finalisées (données complètes).

Cette activité fait partie du cours

A/B Testing en Python

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Calculate the mean order values and run a t-test between variants A and B
print(checkout.____('checkout_page')['____'].____())

ttest = ____.____(x=checkout[checkout['checkout_page']=='____']['____'], 
                       y=checkout[checkout['checkout_page']=='____']['____'],
                       paired=____,
                       alternative="____")
print(ttest)

Modifier et exécuter le code

Cette activité fait partie du cours

A/B Testing en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous verrez les bases de l'A/B Testing. Vous parcourrez des étapes claires et des cas d'utilisation, comprendrez pourquoi et en quoi il est utile de concevoir et d'exécuter des tests A/B, et découvrirez les cadres de conception d'indicateurs et d'estimation les plus courants.

Exercise 1: Qu'est-ce qu'un test A/B ?Exercise 2: Quand un test A/B n'est pas le meilleur choix Exercise 3: Étapes d'un test A/B Exercise 4: Effets de la randomisation Exercise 5: Pourquoi mener des expériences ?Exercise 6: Visualisation de corrélations Exercise 7: Corrélation ou causalité ?Exercise 8: Conception et estimation des indicateurs Exercise 9: Moyennes et proportions Exercise 10: Mesures des impressions publicitaires

Dans le chapitre 2, vous aborderez le processus de conception d'expériences. Après avoir appris à formuler de solides hypothèses pour l'A/B Testing, vous verrez aussi des notions statistiques comme la puissance, les taux d'erreur et l'effet minimal détectable. Vous terminerez en apprenant à estimer la taille d'échantillon appropriée pour obtenir des résultats concluants et à gérer les scénarios avec comparaisons multiples.

Exercise 1: Formulation d'hypothèses et distributions Exercise 2: Formulation d'hypothèses solides Exercise 3: Tracer des distributions Exercise 4: Théorème central limite pour les moyennes Exercise 5: Conception expérimentale : configuration des paramètres d'essai Exercise 6: Interpréter les valeurs p Exercise 7: Taux d'erreur sur le terrain Exercise 8: Conception expérimentale : analyse de la puissance Exercise 9: Tracer des courbes de puissance Exercise 10: Taille d'échantillon pour des moyennes Exercise 11: Taille d'échantillon pour des proportions Exercise 12: Tests de comparaisons multiples Exercise 13: Faut-il appliquer une correction pour comparaisons multiples?Exercise 14: Valeurs p corrigées

Ici, vous découvrirez un déroulement concret pour nettoyer, prétraiter et explorer des données d'A/B Testing, ainsi que les vérifications de cohérence nécessaires pour assurer la validité des résultats. Vous étudierez une explication détaillée et un exemple d'analyse de tests A/B portant sur une différence de proportions.

Exercise 1: Nettoyage des données et analyse exploratoire Exercise 2: EDA sur les proportions Exercise 3: Nettoyage des données d'un test A/B Exercise 4: Vérifications d'intégrité : validité interne Exercise 5: SRM Exercise 6: Équilibre des distributions Exercise 7: Vérifications de cohérence : validité externe Exercise 8: Détection des effets de nouveauté Exercise 9: Le paradoxe de Simpson à l'œuvre Exercise 10: Analyser les tests A/B de différence de proportions Exercise 11: Test A/B de différence de proportions Exercise 12: Interprétation des intervalles de confiance Exercise 13: Intervalles de confiance pour des proportions

Dans le dernier chapitre, vous développerez des cadres pour analyser les différences de moyennes et recourir à des tests non paramétriques lorsque plusieurs hypothèses ne sont pas respectées. Vous apprendrez aussi à appliquer la méthode Delta pour analyser des indicateurs de type ratio et découvrirez les pratiques exemplaires ainsi que quelques sujets avancés pour poursuivre votre maîtrise de l'A/B Testing.

Exercise 1: Analyser les tests A/B sur la différence de moyennes Exercise 2: Test t pour la différence de moyennes

Exercice en cours

Exercise 3: Tests t par paires Exercise 4: Tests statistiques non paramétriques Exercise 5: Paramétrique ou non paramétrique?Exercise 6: Test U de Mann-Whitney Exercise 7: Test du khi carré d'indépendance Exercise 8: Mesures de ratio et méthode delta Exercise 9: Delta ou pas?Exercise 10: Méthode delta Exercise 11: Introduction aux pratiques exemplaires en A/B testing et aux sujets avancés Exercise 12: Bonnes pratiques Exercise 13: Effet du jour de la semaine Exercise 14: Conclusion : A/B testing en Python