Dans ce chapitre, vous apprendrez comment surmonter certains des problèmes les plus courants liés aux données erronées. Vous convertirez les types de données, appliquerez des contraintes de plage pour supprimer les points de données futurs et supprimerez les points de données en double afin d'éviter les doubles comptages.

Contraintes relatives aux types de données

Types de données courants

Données numériques ou ... ?

Additionner des chaînes de caractères et concaténer des nombres

Contraintes relatives à la plage de données

Restrictions relatives à la taille des pneus

Retour vers le futur

Contraintes d'unicité

Quelle est la taille de votre sous-ensemble ?

Recherche de doublons

Traitement des doublons

Problèmes courants liés aux données

Les données catégorielles et textuelles peuvent souvent constituer les parties les plus complexes d'un ensemble de données en raison de leur nature non structurée. Dans ce chapitre, vous apprendrez à corriger les incohérences dans les espaces et la capitalisation des libellés de catégories, à regrouper plusieurs catégories en une seule et à reformater les chaînes de caractères pour plus de cohérence.

Conditions d'adhésion

Options

Restriction relative à l'adhésion

Autre contrainte

Réservé aux membres

Trouver une cohérence

Variables catégorielles

Espaces blancs et incohérences

Créer ou réorganiser des catégories

Catégories d'erreurs

Catégories incohérentes

Réorganisation des catégories

Nettoyage des données textuelles

Supprimer les titres et les noms

Rester descriptif

Problèmes liés aux données textuelles et catégorielles

Dans ce chapitre, vous aborderez des problèmes plus avancés liés au nettoyage des données, tels que la vérification que tous les poids sont exprimés en kilogrammes et non en livres. Vous acquerrez également des compétences inestimables qui vous aideront à vérifier que les valeurs ont été ajoutées correctement et que les valeurs manquantes n'ont pas d'impact négatif sur vos analyses.

Uniformité

Dates imprécises

Monnaies uniformes

Dates uniformes

Validation interdomaines

Champ croisé ou pas ?

Quelle est la qualité de nos données ?

Exhaustivité

Ceci est-il manquant par hasard ?

Investisseurs manquants

Suivez l'argent

Problèmes avancés liés aux données

Le couplage d'enregistrements est une technique efficace permettant de fusionner plusieurs ensembles de données, notamment lorsque les valeurs contiennent des fautes de frappe ou des orthographes différentes. Dans ce chapitre, vous apprendrez à relier des enregistrements en calculant la similitude entre des chaînes de caractères. Vous utiliserez ensuite vos nouvelles compétences pour fusionner deux ensembles de données d'avis sur des restaurants en un seul ensemble de données maître propre.

Comparaison de chaînes

Distance minimale de modification

Le point de rupture

Remapper les catégories II

Génération de paires

Faut-il créer un lien ou non ?

Paires de restaurants

Restaurants similaires

Liaison de DataFrames

Choisir le bon indice

Les relier entre eux !

Félicitations !

Liaison des dossiers

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

On dit souvent que les scientifiques des données consacrent 80 % de leur temps au nettoyage et à la manipulation des données, et seulement 20 % à leur analyse. Le temps consacré au nettoyage est essentiel, car l'analyse de données erronées peut vous amener à tirer des conclusions inexactes.

Le nettoyage des données est une tâche essentielle en science des données. Sans données correctement nettoyées, les résultats de toute analyse de données ou de tout modèle d'apprentissage automatique pourraient être inexacts. Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes de nettoyage de données dans Python, des plus simples aux plus avancés. Vous traiterez des types de données incorrects, vérifierez que vos données se trouvent dans la plage appropriée, gérerez les données manquantes, effectuerez le couplage d'enregistrements, et bien plus encore !

<h2>Découvrez comment nettoyer des données en Python</h2>
La préparation des données est fondamentale : les scientifiques des données passent 80 % de leur temps à nettoyer et manipuler les données, et seulement 20 % de leur temps à les analyser. Le nettoyage des données est une étape essentielle pour tout scientifique des données, car l'analyse de données sales peut conduire à des conclusions inexactes. 
<br><br>
Dans ce cours, vous apprendrez à identifier, diagnostiquer et traiter divers problèmes de nettoyage de données en Python, allant du plus simple au plus avancé. Vous traiterez les types de données inappropriés, vous vérifierez que vos données se situent dans la bonne plage, vous gérerez les données manquantes, vous effectuerez le couplage d'enregistrements, et bien plus encore !
<br><br>
<h2>Apprenez à nettoyer différents types de données</h2>
Le premier chapitre du cours explore les problèmes courants liés aux données et la manière dont vous pouvez les résoudre. Vous commencerez par comprendre les types de données de base et la manière de les traiter individuellement. Ensuite, vous appliquerez des contraintes de plage et supprimerez les points de données dupliqués.
<br><br>
Le dernier chapitre explore le couplage d'enregistrements, un outil puissant permettant de fusionner plusieurs ensembles de données. Vous apprendrez à lier des enregistrements en calculant la similarité entre les chaînes de caractères. Enfin, vous utiliserez vos nouvelles compétences pour fusionner deux ensembles de données de critiques de restaurants en un seul ensemble de données principal propre.
<br><br>
<h2>Gagnez en confiance dans le nettoyage des données</h2>
À la fin de la formation, vous serez en mesure de nettoyer des données de différents types et d'utiliser le couplage d'enregistrements pour fusionner plusieurs ensembles de données. Le nettoyage des données est une compétence essentielle pour les data scientists. Si vous souhaitez en savoir plus sur le nettoyage de données en Python et ses applications, consultez les cursus suivants : Data Scientist avec Python et Importation et nettoyage de données avec Python.

Python Toolbox

Joining Data with pandas

Maîtrisez le nettoyage des données Python en 4h. Apprenez à résoudre des problèmes courants et avancés.

Nettoyage des données dans Python

Apprenez à diagnostiquer et nettoyer les données sales pour transformer vos données brutes en insights précis et fiables ! 

Scientifique de données associé  en Python

Ingénieur de données en Python

Importation et nettoyage des données  en Python

VP of AI Curriculum, DataCamp

Cleaning text data

What is text data?

Example

Fixing the phone number column

But what about more complicated examples?

Regular expressions in action

Let's practice!

Problèmes liés aux données textuelles et catégorielles - Nettoyage des données textuelles

Nettoyage des données textuelles

Create Your Free Account