Est-ce manquant de façon aléatoire?

Vous avez vu dans la vidéo qu’il existe différents types de données manquantes. Pour mémoire, on peut les décrire ainsi :

Missing Completely at Random: Aucune relation systématique entre les valeurs manquantes d’une colonne et ses autres valeurs ou celles d’autres colonnes.
Missing at Random: Il existe une relation systématique entre les valeurs manquantes d’une colonne et d’autres valeurs observées.
Missing not at Random: Il existe une relation systématique entre les valeurs manquantes d’une colonne et des valeurs non observées.

Vous disposez d’un DataFrame contenant des cotes de satisfaction de la clientèle pour un service. De quel type de données manquantes s’agit-il?

Une colonne satisfaction_score avec des valeurs manquantes pour les clients très insatisfaits.

Cette activité fait partie du cours

Nettoyage des données en Python

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice

Cette activité fait partie du cours

Nettoyage des données en Python

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous apprendrez à surmonter certains des problèmes de données sales les plus fréquents. Vous convertirez des types de données, appliquerez des contraintes d’intervalle pour retirer des points de données du futur et supprimerez les doublons afin d’éviter le double comptage.

Exercise 1: Contraintes de type de données Exercise 2: Types de données courants Exercise 3: Données numériques ou... ?Exercise 4: Additionner des chaînes et concaténer des nombres Exercise 5: Contraintes sur les plages de données Exercise 6: Contraintes sur la taille des pneus Exercise 7: Retour vers le futur Exercise 8: Contraintes d’unicité Exercise 9: Quelle est la taille de votre sous-ensemble ?Exercise 10: Repérer les doublons Exercise 11: Traiter les doublons

Les données catégorielles et textuelles sont souvent parmi les plus brouillonnes d’un ensemble de données en raison de leur nature non structurée. Dans ce chapitre, vous apprendrez à corriger les incohérences d’espaces et de casse dans les étiquettes de catégories, à regrouper plusieurs catégories en une seule et à reformater des chaînes de caractères pour assurer l’uniformité.

Exercise 1: Contraintes d’appartenance Exercise 2: Réservé aux membres Exercise 3: Assurer la cohérence Exercise 4: Variables catégorielles Exercise 5: Catégories d’erreurs Exercise 6: Catégories incohérentes Exercise 7: Reclasser des catégories Exercise 8: Nettoyer les données textuelles Exercise 9: Retirer les titres et extraire les noms Exercise 10: Rester descriptif

Dans ce chapitre, vous aborderez des problèmes de nettoyage plus avancés, par exemple vous assurer que les poids sont tous exprimés en kilogrammes plutôt qu’en livres. Vous acquerrez aussi des compétences précieuses pour vérifier que les valeurs ont été additionnées correctement et que les valeurs manquantes n’affectent pas négativement vos analyses.

Exercise 1: Uniformité Exercise 2: Dates ambiguës Exercise 3: Devises uniformes Exercise 4: Dates uniformes Exercise 5: Validation croisée des champs Exercise 6: Validation interchamps ou non?Exercise 7: Qu’en est-il de l’intégrité de nos données ?Exercise 8: Exhaustivité Exercise 9: Est-ce manquant de façon aléatoire?

Exercice en cours

Exercise 10: Investisseurs manquants Exercise 11: Suivez l’argent

L’appariement d’enregistrements est une technique puissante utilisée pour fusionner plusieurs ensembles de données, même lorsque les valeurs comportent des fautes de frappe ou des orthographes différentes. Dans ce chapitre, vous apprendrez à apparier des enregistrements en calculant la similarité entre des chaînes de caractères — vous utiliserez ensuite vos nouvelles compétences pour joindre deux ensembles d’évaluations de restaurants en un seul ensemble maître propre.

Exercise 1: Comparer des chaînes Exercise 2: Distance minimale d’édition Exercise 3: Le point de coupure Exercise 4: Remappage des catégories II Exercise 5: Génération de paires Exercise 6: Lier ou ne pas lier ?Exercise 7: Paires de restaurants Exercise 8: Restaurants similaires Exercise 9: Lier des DataFrames Exercise 10: Récupérer le bon index Exercise 11: Les relier ensemble !Exercise 12: Félicitations !