L’importance de l’EDA

Pourquoi l’analyse exploratoire des données (EDA) doit-elle être la première étape d’une analyse de données (après avoir importé et nettoyé vos données, bien sûr) ?

Cet exercice fait partie du cours

Réflexion statistique en Python (Partie 2)

Afficher le cours

Exercice interactif pratique

Passez de la théorie à la pratique avec l’un de nos exercices interactifs

Commencer l’exercice

Cet exercice fait partie du cours

Réflexion statistique en Python (Partie 2)

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

En inférence statistique, nous parlons le langage des probabilités. Une loi de probabilité qui décrit vos données possède des paramètres. Un objectif majeur de l’inférence statistique est donc d’estimer la valeur de ces paramètres, ce qui nous permet de décrire nos données de façon concise et sans ambiguïté et d’en tirer des conclusions. Dans ce chapitre, vous apprendrez à trouver les paramètres optimaux, ceux qui décrivent le mieux vos données.

Exercise 1: Paramètres optimaux Exercise 2: À quelle fréquence observe-t-on des « no-hitters » ?Exercise 3: Les données confirment-elles notre histoire ?Exercise 4: En quoi ce paramètre est-il optimal ?Exercise 5: Régression linéaire par moindres carrés Exercise 6: EDA sur les données d’analphabétisme/fertilité Exercise 7: Régression linéaire Exercise 8: En quoi est-ce optimal ?Exercise 9: L’importance de l’EDA : le quartette d’Anscombe Exercise 10: L’importance de l’EDA

Exercice en cours

Exercise 11: Régression linéaire sur des données pertinentes d’Anscombe Exercise 12: Régression linéaire sur l’ensemble des données d’Anscombe

« Se hisser par ses propres bootstraps » est une expression classique qui signifie réussir une tâche difficile par soi-même, sans aucune aide. En inférence statistique, vous voulez savoir ce qui se passerait si vous pouviez répéter votre acquisition de données un nombre infini de fois. Cette tâche est impossible, mais peut-on utiliser uniquement les données dont nous disposons pour s’approcher du même résultat qu’une infinité d’expériences ? La réponse est oui ! La technique pour y parvenir s’appelle à juste titre le bootstrap. Ce chapitre va vous présenter cet outil extraordinairement puissant.

Exercise 1: Générer des répliques bootstrap Exercise 2: Maîtriser la terminologie Exercise 3: Bootstrap à la main Exercise 4: Visualiser des échantillons bootstrap Exercise 5: Intervalles de confiance par bootstrap Exercise 6: Générer de nombreux réplicats bootstrap Exercise 7: Réplicats bootstrap de la moyenne et de la SEM Exercise 8: Intervalles de confiance des données de précipitations Exercise 9: Répliques bootstrap d’autres statistiques Exercise 10: Intervalle de confiance sur le taux de matchs sans coup sûr Exercise 11: Bootstrap par paires Exercise 12: Une fonction pour effectuer un bootstrap par paires Exercise 13: Bootstrap par paires sur les données illettrisme/fertilité Exercise 14: Tracer des régressions bootstrap

Vous savez désormais comment définir et estimer des paramètres à partir d’un modèle. Mais une question demeure : est-il raisonnable d’observer vos données si le modèle est vrai ? Cette question est traitée par les tests d’hypothèse. Ils constituent la touche finale de l’inférence. À l’issue de ce chapitre, vous serez en mesure de formuler et tester des hypothèses avec rigueur en utilisant les hacker statistics.

Exercise 1: Formuler et simuler une hypothèse Exercise 2: Générer un échantillon par permutation Exercise 3: Visualiser l’échantillonnage par permutation Exercise 4: Statistiques de test et valeurs p Exercise 5: Statistiques de test Exercise 6: Qu’est-ce qu’une p-valeur ?Exercise 7: Générer des réplicats par permutation Exercise 8: Regarder avant de sauter : EDA avant le test d’hypothèse Exercise 9: Test de permutation sur des données de grenouilles Exercise 10: Tests d’hypothèse par bootstrap Exercise 11: Un test d’hypothèse bootstrap à un échantillon Exercise 12: Test d’hypothèse bootstrap à deux échantillons pour une différence de moyennes

Comme vous l’avez vu au chapitre précédent, les tests d’hypothèse peuvent être un peu délicats. Il faut définir l’hypothèse nulle, déterminer comment la simuler, et préciser clairement ce que « plus extrême » signifie afin de calculer la p-valeur. Comme pour toute compétence, la pratique est essentielle, et ce chapitre vous propose de bons exercices de mise en pratique des tests d’hypothèse.

Exercise 1: Test A/B Exercise 2: Le vote sur le Civil Rights Act en 1964 Exercise 3: Qu’est-ce qui est équivalent ?Exercise 4: Un analogue au temps passé sur un site web Exercise 5: Qu’auriez-vous dû faire en premier ?Exercise 6: Test de corrélation Exercise 7: Simuler une hypothèse nulle concernant la corrélation Exercise 8: Test d’hypothèse sur la corrélation de Pearson Exercise 9: Les insecticides néonicotinoïdes ont-ils des effets indésirables ?Exercise 10: Test d’hypothèse par bootstrap sur les comptages de spermatozoïdes d’abeilles

Chaque année depuis plus de 40 ans, Peter et Rosemary Grant se rendent sur l’île de Daphne Major, dans l’archipel des Galápagos, et collectent des données sur les pinsons de Darwin. En mobilisant vos compétences en inférence statistique, vous passerez ce chapitre sur leurs données et observerez, grâce aux données, l’évolution à l’œuvre. Une façon enthousiasmante de conclure le cours !

Exercise 1: Becs de pinsons et nécessité des statistiques Exercise 2: EDA des profondeurs de bec des pinsons de Darwin Exercise 3: ECDF des profondeurs de bec Exercise 4: Estimations de paramètres pour les profondeurs de bec Exercise 5: Test d’hypothèse : les becs sont‑ils plus profonds en 2012 ?Exercise 6: Variations des formes de bec Exercise 7: EDA de la longueur et de la profondeur du bec Exercise 8: Régressions linéaires Exercise 9: Afficher les résultats de la régression linéaire Exercise 10: Rapport longueur/profondeur du bec Exercise 11: En quoi le ratio est-il différent ?Exercise 12: Calcul de l’héritabilité Exercise 13: EDA de l’héritabilité Exercise 14: Corrélation entre les données des descendants et des parents Exercise 15: Corrélation de Pearson entre descendants et parents Exercise 16: Mesurer l’héritabilité Exercise 17: La profondeur du bec est-elle héréditaire chez G. scandens ?Exercise 18: Dernières réflexions