Généralisabilité d’un test A/B

Voici une liste de décisions possibles lors de la conception d’un test A/B. Identifiez celle qui ne poserait pas de problème pour généraliser les résultats du test à l’ensemble de la population d’utilisateurs.

Cet exercice fait partie du cours

<cours>Analytics client et A/B Testing en Python</cours>

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

<cours>Analytics client et A/B Testing en Python</cours>

IntermédiaireNiveau de compétence

4.7+

Commencer le cours gratuitement

Ce chapitre propose une brève introduction au contenu du cours, puis aborde les indicateurs clés de performance (KPI). Vous apprendrez à identifier et définir des KPI pertinents en combinant réflexion critique et outils Python. Les techniques présentées sont très pratiques et généralisables. Elles constituent la base sur laquelle s’appuie la suite du cours consacrée à l’A/B Testing.

Exercise 1: Introduction et aperçu du cours Exercise 2: Comprendre les éléments clés d’un test A/B Exercise 3: Définir des KPI pertinents Exercise 4: Identifier et comprendre les KPI Exercise 5: Charger et examiner nos données Exercise 6: Fusions sur différents ensembles de champs Exercise 7: Analyse exploratoire des KPI Exercise 8: S’entraîner aux agrégations Exercise 9: Regrouper et agréger Exercise 10: Calcul des KPI : un exemple pratique Exercise 11: Calcul des KPI Exercise 12: Prix d’achat moyen par cohorte

Ce chapitre vous apprend à visualiser, manipuler et explorer des KPI qui évoluent dans le temps. Au fil de différents exemples, vous verrez comment travailler avec des objets datetime pour calculer des métriques par unité de temps. Nous passerons ensuite aux techniques pour tracer différents segments de données et appliquer des fonctions de lissage afin de révéler des tendances cachées. Enfin, nous parcourrons un exemple complet montrant comment identifier des problèmes grâce à une analyse exploratoire de données clients. Tout au long du chapitre, diverses fonctions sont introduites et expliquées de façon largement généralisable.

Exercise 1: Travailler avec des séries temporelles dans pandas Exercise 2: Analyser des dates Exercise 3: Créer des graphiques de séries temporelles avec Matplotlib Exercise 4: Tracer des données de séries temporelles Exercise 5: Créer un tableau croisé de nos données Exercise 6: Analyser les différentes cohortes Exercise 7: Comprendre et visualiser les tendances Exercise 8: Saisonnalité et moyennes mobiles Exercise 9: Moyenne mobile exponentielle et sur/sous-lissage Exercise 10: Événements et mises en production Exercise 11: Visualiser les dépenses des utilisateurs Exercise 12: Examiner de plus près le chiffre d’affaires

Dans ce chapitre, vous plongez pleinement dans l’A/B Testing. Vous apprendrez les bases mathématiques et méthodologiques nécessaires pour concevoir et planifier avec succès un test A/B, de la définition de l’unité expérimentale au calcul de la taille d’échantillon requise. Vous découvrirez également les fonctions et le code permettant de calculer les différentes quantités associées à ce type de test statistique.

Exercise 1: Introduction aux tests A/B Exercise 2: Bonnes applications des tests A/B Exercise 3: Propriétés générales d’un test A/B Exercise 4: Généralisabilité d’un test A/B

Exercice actuel

Exercise 5: Conception initiale d’un test A/B Exercise 6: Unités expérimentales : revenu par jour-utilisateur Exercise 7: Préparer l’exécution d’un test A/B Exercise 8: Sensibilités du taux de conversion Exercise 9: Sensibilité Exercise 10: Erreur standard Exercise 11: Calculer la taille d’échantillon Exercise 12: Explorer le calcul de la puissance statistique Exercise 13: Calcul du taille d’échantillon

Après avoir exécuté un test A/B, il faut analyser les données puis communiquer efficacement les résultats. Ce chapitre alterne théorie de la significativité statistique et des intervalles de confiance avec les outils pour les calculer vous‑même à partir des données. Nous verrons ensuite comment visualiser et présenter ces résultats de manière convaincante. Ce chapitre est l’aboutissement de tous les acquis du cours.

Exercise 1: Analyser les résultats du test A/B Exercise 2: Confirmer les résultats de notre test Exercise 3: Réfléchir de manière critique aux p-valeurs Exercise 4: Comprendre la significativité statistique Exercise 5: Intuition derrière la significativité statistique Exercise 6: Vérifier la significativité statistique Exercise 7: Comprendre les intervalles de confiance Exercise 8: Calcul des intervalles de confiance Exercise 9: Interpréter vos résultats de test Exercise 10: Tracer la distribution Exercise 11: Tracer la distribution des différences Exercise 12: Finale