Taille d'échantillon pour des moyennes

Lorsque vous concevez un test A/B, en tant que scientifique des données, vous devez d'abord vérifier si le test est réalisable. Cela implique de répondre à plusieurs questions, par exemple : avons-nous suffisamment de trafic ? Comment quantifier « suffisamment » ? Quelle est la plus petite différence que nous pouvons détecter compte tenu de la taille d'échantillon dont nous disposons ? Combien de temps l'expérience doit-elle durer ? Et plus encore.

Dans cet exercice, vous allez calculer la taille minimale d'échantillon nécessaire pour détecter une différence statistiquement significative d'une certaine valeur entre la moyenne de référence order_value pour le groupe témoin et une nouvelle conception à tester. Les bibliothèques pandas, numpy, matplotlib, seaborn et la trame de données checkout sont déjà importées et chargées pour vous, ainsi que power de statsmodels.stats.

Cette activité fait partie du cours

A/B Testing en Python

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Calculate and print the baseline mean and standard deviation
mean_B = ____
print(mean_B)

std_B = ____
print(std_B)

Modifier et exécuter le code

Cette activité fait partie du cours

A/B Testing en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous verrez les bases de l'A/B Testing. Vous parcourrez des étapes claires et des cas d'utilisation, comprendrez pourquoi et en quoi il est utile de concevoir et d'exécuter des tests A/B, et découvrirez les cadres de conception d'indicateurs et d'estimation les plus courants.

Exercise 1: Qu'est-ce qu'un test A/B ?Exercise 2: Quand un test A/B n'est pas le meilleur choix Exercise 3: Étapes d'un test A/B Exercise 4: Effets de la randomisation Exercise 5: Pourquoi mener des expériences ?Exercise 6: Visualisation de corrélations Exercise 7: Corrélation ou causalité ?Exercise 8: Conception et estimation des indicateurs Exercise 9: Moyennes et proportions Exercise 10: Mesures des impressions publicitaires

Dans le chapitre 2, vous aborderez le processus de conception d'expériences. Après avoir appris à formuler de solides hypothèses pour l'A/B Testing, vous verrez aussi des notions statistiques comme la puissance, les taux d'erreur et l'effet minimal détectable. Vous terminerez en apprenant à estimer la taille d'échantillon appropriée pour obtenir des résultats concluants et à gérer les scénarios avec comparaisons multiples.

Exercise 1: Formulation d'hypothèses et distributions Exercise 2: Formulation d'hypothèses solides Exercise 3: Tracer des distributions Exercise 4: Théorème central limite pour les moyennes Exercise 5: Conception expérimentale : configuration des paramètres d'essai Exercise 6: Interpréter les valeurs p Exercise 7: Taux d'erreur sur le terrain Exercise 8: Conception expérimentale : analyse de la puissance Exercise 9: Tracer des courbes de puissance Exercise 10: Taille d'échantillon pour des moyennes

Exercice en cours

Exercise 11: Taille d'échantillon pour des proportions Exercise 12: Tests de comparaisons multiples Exercise 13: Faut-il appliquer une correction pour comparaisons multiples?Exercise 14: Valeurs p corrigées

Ici, vous découvrirez un déroulement concret pour nettoyer, prétraiter et explorer des données d'A/B Testing, ainsi que les vérifications de cohérence nécessaires pour assurer la validité des résultats. Vous étudierez une explication détaillée et un exemple d'analyse de tests A/B portant sur une différence de proportions.

Exercise 1: Nettoyage des données et analyse exploratoire Exercise 2: EDA sur les proportions Exercise 3: Nettoyage des données d'un test A/B Exercise 4: Vérifications d'intégrité : validité interne Exercise 5: SRM Exercise 6: Équilibre des distributions Exercise 7: Vérifications de cohérence : validité externe Exercise 8: Détection des effets de nouveauté Exercise 9: Le paradoxe de Simpson à l'œuvre Exercise 10: Analyser les tests A/B de différence de proportions Exercise 11: Test A/B de différence de proportions Exercise 12: Interprétation des intervalles de confiance Exercise 13: Intervalles de confiance pour des proportions

Dans le dernier chapitre, vous développerez des cadres pour analyser les différences de moyennes et recourir à des tests non paramétriques lorsque plusieurs hypothèses ne sont pas respectées. Vous apprendrez aussi à appliquer la méthode Delta pour analyser des indicateurs de type ratio et découvrirez les pratiques exemplaires ainsi que quelques sujets avancés pour poursuivre votre maîtrise de l'A/B Testing.

Exercise 1: Analyser les tests A/B sur la différence de moyennes Exercise 2: Test t pour la différence de moyennes Exercise 3: Tests t par paires Exercise 4: Tests statistiques non paramétriques Exercise 5: Paramétrique ou non paramétrique?Exercise 6: Test U de Mann-Whitney Exercise 7: Test du khi carré d'indépendance Exercise 8: Mesures de ratio et méthode delta Exercise 9: Delta ou pas?Exercise 10: Méthode delta Exercise 11: Introduction aux pratiques exemplaires en A/B testing et aux sujets avancés Exercise 12: Bonnes pratiques Exercise 13: Effet du jour de la semaine Exercise 14: Conclusion : A/B testing en Python