In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Numeric data or ... ?

Summing strings and concatenating numbers

Data range constraints

Tire size constraints

Back to the future

Uniqueness constraints

How big is your subset?

Finding duplicates

Treating duplicates

Common data problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Membership constraints

Members only

Finding consistency

Categorical variables

Categories of errors

Inconsistent categories

Remapping categories

Cleaning text data

Removing titles and taking names

Keeping it descriptive

Text and categorical data problems

In this chapter, you'll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You'll also gain invaluable skills that will help you verify that values have been added correctly, and that missing values don't negatively impact your analyses.

Uniformity

Ambiguous dates

Uniform currencies

Uniform dates

Cross field validation

Cross field or no cross field?

How's our data integrity?

Completeness

Is this missing at random?

Missing investors

Follow the money

Advanced data problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you'll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparaison de chaînes de caractères

Distance minimale d'édition

Le seuil

Remaniement des catégories II

Génération de paires

Options

Liaison d’enregistrements

Jointures régulières

Jointure ou non ?

Paires de restaurants

Restaurants similaires

Lier des DataFrames

Obtenir le bon indice

Relier les données !

Félicitations !

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

On affirme souvent que les scientifiques des données consacrent 80 % de leur temps au nettoyage et à la manipulation des données, et seulement 20 % à leur analyse. Le temps consacré au nettoyage est essentiel, car l'analyse de données erronées peut conduire à des conclusions inexactes.

Le nettoyage des données est une tâche essentielle en science des données. Sans données correctement nettoyées, les résultats de toute analyse de données ou de tout modèle de machine learning pourraient être inexacts. Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes liés au nettoyage des données dans Python, des plus simples aux plus complexes. Vous traiterez les types de données incorrects, vérifierez que vos données se situent dans la plage appropriée, gérerez les données manquantes, effectuerez le couplage de données, et bien plus encore.

<h2>Découvrez comment nettoyer des données en Python</h2>
La préparation des données est fondamentale : les scientifiques des données passent 80 % de leur temps à nettoyer et manipuler les données, et seulement 20 % de leur temps à les analyser. Le nettoyage des données est une étape essentielle pour tout scientifique des données, car l'analyse de données sales peut conduire à des conclusions inexactes. 
<br><br>
Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes de nettoyage de données en Python, allant du plus simple au plus avancé. Vous traiterez les types de données inappropriés, vous vérifierez que vos données se situent dans la bonne plage, vous gérerez les données manquantes, vous effectuerez le couplage d'enregistrements, et bien plus encore !
<br><br>
<h2>Apprenez à nettoyer différents types de données</h2>
Le premier chapitre du cours explore les problèmes courants liés aux données et la manière dont vous pouvez les résoudre. Vous commencerez par comprendre les types de données de base et la manière de les traiter individuellement. Ensuite, vous appliquerez des contraintes de plage et supprimerez les points de données dupliqués.
<br><br>
Le dernier chapitre explore le couplage d'enregistrements, un outil puissant permettant de fusionner plusieurs ensembles de données. Vous apprendrez à lier des enregistrements en calculant la similarité entre les chaînes de caractères. Enfin, vous utiliserez vos nouvelles compétences pour fusionner deux ensembles de données de critiques de restaurants en un seul ensemble de données principal propre.
<br><br>
<h2>Gagnez en confiance dans le nettoyage des données</h2>
À la fin de la formation, vous serez en mesure de nettoyer des données de différents types et d'utiliser le couplage d'enregistrements pour fusionner plusieurs ensembles de données. Le nettoyage des données est une compétence essentielle pour les data scientists. Si vous souhaitez en savoir plus sur le nettoyage de données en Python et ses applications, consultez les cursus suivants : Data Scientist avec Python et Importation et nettoyage de données avec Python.

Python Toolbox

Joining Data with pandas

Maîtrisez le nettoyage des données Python en 4h. Apprenez à résoudre des problèmes courants et avancés.

Nettoyage des données en Python

Apprenez à diagnostiquer et nettoyer les données sales pour transformer vos données brutes en insights précis et fiables ! 

Associate Data Scientist  en Python

Ingénieur de données en Python

Importation et nettoyage des données  en Python

Distance minimale d'édition

Exercice interactif pratique