In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Numeric data or ... ?

Summing strings and concatenating numbers

Data range constraints

Tire size constraints

Back to the future

Uniqueness constraints

How big is your subset?

Finding duplicates

Treating duplicates

Common data problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Contraintes d'adhésion

Options

Autre contrainte

Réservé aux membres

Trouver la cohérence

Variables catégorielles

Espaces blancs et incohérences

Création ou réorganisation des catégories

Catégories d'erreurs

Catégories incohérentes

Remaniement des catégories

Nettoyage des données textuelles

Suppression des titres et prise des noms

Rester dans la description

Text and categorical data problems

In this chapter, you'll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You'll also gain invaluable skills that will help you verify that values have been added correctly, and that missing values don't negatively impact your analyses.

Uniformity

Ambiguous dates

Uniform currencies

Uniform dates

Cross field validation

Cross field or no cross field?

How's our data integrity?

Completeness

Is this missing at random?

Missing investors

Follow the money

Advanced data problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you'll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Minimum edit distance

The cutoff point

Remapping categories II

Generating pairs

To link or not to link?

Pairs of restaurants

Similar restaurants

Linking DataFrames

Getting the right index

Linking them together!

Congratulations!

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

On affirme souvent que les scientifiques des données consacrent 80 % de leur temps au nettoyage et à la manipulation des données, et seulement 20 % à leur analyse. Le temps consacré au nettoyage est essentiel, car l'analyse de données erronées peut conduire à des conclusions inexactes.

Le nettoyage des données est une tâche essentielle en science des données. Sans données correctement nettoyées, les résultats de toute analyse de données ou de tout modèle de machine learning pourraient être inexacts. Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes liés au nettoyage des données dans Python, des plus simples aux plus complexes. Vous traiterez les types de données incorrects, vérifierez que vos données se situent dans la plage appropriée, gérerez les données manquantes, effectuerez le couplage de données, et bien plus encore.

<h2>Découvrez comment nettoyer des données en Python</h2>
La préparation des données est fondamentale : les scientifiques des données passent 80 % de leur temps à nettoyer et manipuler les données, et seulement 20 % de leur temps à les analyser. Le nettoyage des données est une étape essentielle pour tout scientifique des données, car l'analyse de données sales peut conduire à des conclusions inexactes. 
<br><br>
Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes de nettoyage de données en Python, allant du plus simple au plus avancé. Vous traiterez les types de données inappropriés, vous vérifierez que vos données se situent dans la bonne plage, vous gérerez les données manquantes, vous effectuerez le couplage d'enregistrements, et bien plus encore !
<br><br>
<h2>Apprenez à nettoyer différents types de données</h2>
Le premier chapitre du cours explore les problèmes courants liés aux données et la manière dont vous pouvez les résoudre. Vous commencerez par comprendre les types de données de base et la manière de les traiter individuellement. Ensuite, vous appliquerez des contraintes de plage et supprimerez les points de données dupliqués.
<br><br>
Le dernier chapitre explore le couplage d'enregistrements, un outil puissant permettant de fusionner plusieurs ensembles de données. Vous apprendrez à lier des enregistrements en calculant la similarité entre les chaînes de caractères. Enfin, vous utiliserez vos nouvelles compétences pour fusionner deux ensembles de données de critiques de restaurants en un seul ensemble de données principal propre.
<br><br>
<h2>Gagnez en confiance dans le nettoyage des données</h2>
À la fin de la formation, vous serez en mesure de nettoyer des données de différents types et d'utiliser le couplage d'enregistrements pour fusionner plusieurs ensembles de données. Le nettoyage des données est une compétence essentielle pour les data scientists. Si vous souhaitez en savoir plus sur le nettoyage de données en Python et ses applications, consultez les cursus suivants : Data Scientist avec Python et Importation et nettoyage de données avec Python.

Python Toolbox

Joining Data with pandas

Maîtrisez le nettoyage des données Python en 4h. Apprenez à résoudre des problèmes courants et avancés.

Nettoyage des données en Python

Apprenez à diagnostiquer et nettoyer les données sales pour transformer vos données brutes en insights précis et fiables ! 

Associate Data Scientist  en Python

Ingénieur de données en Python

Importation et nettoyage des données  en Python

Une colonne `GPA` contenant une note `Z-`.

Une colonne `day_of_week` avec la valeur `Suntermonday`.

Une colonne `has_loan` avec la valeur `12`.

Une colonne `birthdate` contenant des valeurs futures.

Une colonne de type `age` avec des valeurs supérieures à `130`.

Une colonne `revenue` représentée sous forme de chaîne.

Réservé aux membres

Exercice interactif pratique