Investisseurs manquants

La gestion des données manquantes est l'une des tâches les plus courantes en science des données. Il existe différents types de données manquantes, ainsi que différentes solutions pour les traiter.

Vous venez de recevoir une nouvelle version du DataFrame banking contenant des données sur les montants détenus et investis pour les clients nouveaux et existants. Cependant, certaines lignes présentent des valeurs d'inv_amount s manquantes.

Vous savez pertinemment que la plupart des clients âgés de moins de 25 ans ne possèdent pas encore de compte d'investissement, et vous soupçonnez que cela pourrait expliquer les données manquantes. Les paquets pandas, missingno et matplotlib.pyplot ont été importés respectivement sous les noms pd, msno et plt. Le DataFrame banking se trouve dans votre environnement.

Cet exercice fait partie du cours

Nettoyage des données en Python

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Print number of missing values in banking
print(____)

# Visualize missingness matrix
____
____

Modifier et exécuter le code

Cet exercice fait partie du cours

Nettoyage des données en Python

IntermédiaireNiveau de compétence

4.8+

Commencer le cours gratuitement

Dans ce chapitre, vous apprendrez comment surmonter certains des problèmes les plus courants liés aux données erronées. Vous convertirez les types de données, appliquerez des contraintes de plage pour supprimer les points de données futurs et supprimerez les points de données en double afin d'éviter les doubles comptages.

Exercise 1: Contraintes relatives aux types de données Exercise 2: Types de données courants Exercise 3: Données numériques ou... ?Exercise 4: Additionner des chaînes de caractères et concaténer des nombres Exercise 5: Contraintes relatives à la plage de données Exercise 6: Contraintes relatives à la taille des pneus Exercise 7: Retour vers le futur Exercise 8: Contraintes d'unicité Exercise 9: Quelle est la taille de votre sous-ensemble ?Exercise 10: Recherche de doublons Exercise 11: Traitement des doublons

Les données catégorielles et textuelles peuvent souvent constituer les parties les plus complexes d'un ensemble de données en raison de leur nature non structurée. Dans ce chapitre, vous apprendrez à corriger les incohérences en matière d'espaces et de majuscules dans les libellés de catégories, à regrouper plusieurs catégories en une seule et à reformater les chaînes de caractères pour plus de cohérence.

Exercise 1: Restrictions d'adhésion Exercise 2: Réservé aux membres Exercise 3: Trouver la cohérence Exercise 4: Variables catégorielles Exercise 5: Catégories d'erreurs Exercise 6: Catégories incohérentes Exercise 7: Remaniement des catégories Exercise 8: Nettoyage des données textuelles Exercise 9: Suppression des titres et prise des noms Exercise 10: Rester descriptif

Dans ce chapitre, vous aborderez des problèmes plus avancés liés au nettoyage des données, tels que la vérification que tous les poids sont exprimés en kilogrammes plutôt qu'en livres. Vous acquerrez également des compétences inestimables qui vous aideront à vérifier que les valeurs ont été ajoutées correctement et que les valeurs manquantes n'ont pas d'impact négatif sur vos analyses.

Exercise 1: Uniformité Exercise 2: Dates imprécises Exercise 3: Monnaies uniformes Exercise 4: Dates uniformes Exercise 5: Validation interdisciplinaire Exercise 6: Faut-il ou non effectuer un centre ?Exercise 7: Quelle est la qualité de l'intégrité de nos données ?Exercise 8: Exhaustivité Exercise 9: Est-ce manquant de manière aléatoire ?Exercise 10: Investisseurs manquants

Exercice en cours

Exercise 11: Suivez l'argent

Le couplage d'enregistrements est une technique efficace utilisée pour fusionner plusieurs ensembles de données, notamment lorsque les valeurs contiennent des erreurs de frappe ou des orthographes différentes. Dans ce chapitre, vous apprendrez à relier des enregistrements en calculant la similarité entre des chaînes de caractères. Vous utiliserez ensuite vos nouvelles compétences pour fusionner deux ensembles de données d'avis sur des restaurants en un seul ensemble de données maître propre.

Exercise 1: Comparaison de chaînes de caractères Exercise 2: Distance minimale d'édition Exercise 3: Le seuil Exercise 4: Remaniement des catégories II Exercise 5: Génération de paires Exercise 6: Faut-il établir un lien ou non ?Exercise 7: Paires de restaurants Exercise 8: Restaurants similaires Exercise 9: Lier des DataFrames Exercise 10: Obtenir le bon indice Exercise 11: Les relier entre eux !Exercise 12: Félicitations !