Dans ce chapitre, vous allez apprendre à résoudre certains des problèmes les plus courants de données imparfaites. Vous convertirez des types de données, appliquerez des contraintes de plage pour exclure des points futurs et supprimerez les doublons afin d’éviter les doubles comptages.

Contraintes de type de données

Types de données courants

Convertir les types de données

Nettoyer des chaînes de caractères

Contraintes de plage

Contraintes sur la durée des trajets

Retour vers le futur

Contraintes d’unicité

Doublons complets

Supprimer les doublons partiels

Agrégation des doublons partiels

Problèmes courants de données

Les données catégorielles et textuelles sont souvent parmi les plus désordonnées d’un jeu de données en raison de leur nature non structurée. Dans ce chapitre, vous apprendrez à corriger les incohérences d’espacement et de capitalisation dans les libellés de catégories, à regrouper plusieurs catégories en une seule et à reformater des chaînes pour assurer la cohérence.

Vérifier l’appartenance

Réservé aux membres

Pas membre

Problèmes avec les données catégorielles

Identifier les incohérences

Corriger les incohérences

Fusionner des catégories

Nettoyer des données textuelles

Détecter des données textuelles incohérentes

Remplacer et supprimer

Numéros de téléphone invalides

Données catégorielles et textuelles

Dans ce chapitre, vous vous attaquerez à des problèmes de nettoyage plus avancés, comme garantir que les poids sont tous exprimés en kilogrammes et non en livres. Vous développerez également des compétences précieuses pour vérifier que les valeurs ont été saisies correctement et que les valeurs manquantes n’impactent pas négativement vos analyses.

Uniformité

Uniformité des dates

Uniformité des devises

Validation interchamps

Validation des totaux

Valider l’âge

Exhaustivité

Options

Manquantes complètement au hasard

Manquantes au hasard

Manquantes de façon non aléatoire

Types de données manquantes

Visualiser les données manquantes

Traiter les données manquantes

Problèmes de données avancés

Le record linkage est une technique puissante pour fusionner plusieurs jeux de données lorsque les valeurs comportent des fautes ou des variantes d’orthographe. Dans ce chapitre, vous apprendrez à relier des enregistrements en calculant la similarité entre des chaînes ; vous mettrez ensuite en pratique vos nouvelles compétences pour réunir deux jeux de données d’avis de restaurants en un jeu maître propre.

Comparer des chaînes

Calculer une distance

Petite distance, petite différence

Corriger les fautes de frappe avec la distance de chaînes

Générer et comparer des paires

Lier ou joindre ?

Blocage par paires

Comparer des paires

Évaluation et liaison

D’abord scorer puis sélectionner, ou l’inverse ?

Mettre le tout en pratique

Félicitations !

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Surmonter les problèmes courants de données, comme la suppression des doublons, avec R</h2>
On dit souvent que les data scientists passent 80 % de leur temps à nettoyer et transformer les données, et seulement 20 % à les analyser. Ce temps est essentiel, car analyser des données sales peut conduire à des conclusions erronées.
<br><br>
Dans ce cours, vous apprendrez différentes techniques pour nettoyer des données imparfaites avec R. Vous commencerez par convertir des types de données, appliquer des contraintes de plage de valeurs et traiter les doublons complets et partiels pour éviter les doubles comptages.
<br><br>
<h2>Aborder des défis de données avancés</h2>
Après vous être exercé sur les problèmes les plus fréquents, vous passerez à des défis plus avancés, comme garantir l’homogénéité des unités de mesure et gérer les valeurs manquantes. Après chaque nouveau concept, vous aurez l’occasion de réaliser un exercice pratique pour ancrer vos connaissances et gagner en expérience.
<br><br>
<h2>Utiliser le Record Linkage lors du nettoyage des données</h2>
Le Record Linkage permet de fusionner des jeux de données lorsque les valeurs comportent des fautes de frappe ou des variantes d’orthographe. Vous explorerez cette technique utile dans le dernier chapitre et vous vous exercerez à l’appliquer pour réunir deux jeux de données d’avis de restaurants en un seul ensemble.

<h2>Surmonter les problèmes courants liés aux données, tels que la suppression des doublons dans R </h2>
On affirme souvent que les scientifiques des données consacrent 80 % de leur temps au nettoyage et à la manipulation des données, et seulement 20 % à leur analyse. Le temps consacré au nettoyage est essentiel, car l'analyse de données erronées peut conduire à des conclusions inexactes.
<br><br>
Dans ce cours, vous apprendrez diverses techniques pour vous aider à nettoyer les données sales à l'aide de R. Vous commencerez par convertir les types de données, appliquer des contraintes de plage et traiter les doublons complets et partiels afin d'éviter les doubles comptages.
<br><br>
<h2>Explorer les défis liés aux données avancées </h2>
Une fois que vous vous serez exercé à résoudre des problèmes courants liés aux données, vous passerez à des défis plus avancés, tels que garantir la cohérence des mesures et traiter les données manquantes. Après chaque nouveau concept, vous aurez l'opportunité de réaliser un exercice pratique afin de consolider vos connaissances et d'acquérir de l'expérience.
<br><br>
<h2>Apprenez à utiliser le couplage d'enregistrements lors du nettoyage des données </h2>
Le couplage d'enregistrements est utilisé pour fusionner des ensembles de données lorsque les valeurs présentent des problèmes tels que des fautes de frappe ou des orthographes différentes. Vous découvrirez cette technique utile dans le dernier chapitre et vous vous exercerez à l'utiliser pour fusionner deux ensembles de données sur les critiques de restaurants en un seul ensemble de données.

Joining Data with dplyr

Apprenez à nettoyer les données rapidement et précisément pour transformer les données brutes en insights.

Nettoyer des données avec R

Apprenez à nettoyer les données aussi rapidement et précisément que possible pour passer des données brutes à des informations pertinentes.

Uniformité

Create Your Free Account