In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Confrontare le stringhe

Calcolare la distanza

Piccola distanza, piccola differenza

Correggere i refusi con la distanza tra stringhe

Generare e confrontare coppie

Opzioni

Record linkage

Join normali

Collegare o fare una join?

Pair blocking

Confrontare le coppie

Valutare e collegare

Processo di Record Linkage

Prima valutare e poi selezionare, o prima selezionare e poi valutare?

Mettere tutto insieme

Congratulazioni!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Supera i problemi di dati più comuni, come rimuovere i duplicati in R</h2>
Si dice spesso che i data scientist trascorrono l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni errate.
<br><br>
In questo corso imparerai diverse tecniche per pulire dati “sporchi” usando R. Partirai convertendo i tipi di dato, applicando vincoli di intervallo e gestendo duplicati totali e parziali per evitare doppi conteggi.
<br><br>
<h2>Affronta sfide avanzate sui dati</h2>
Dopo aver fatto pratica con i problemi più comuni, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i valori mancanti. Dopo ogni nuovo concetto, potrai svolgere un esercizio pratico per consolidare le conoscenze e fare esperienza.
<br><br>
<h2>Impara a usare il Record Linkage durante la pulizia dei dati</h2>
Il Record Linkage serve a unire insiemi di dati quando i valori presentano problemi come refusi o grafie diverse. Esplorerai questa tecnica utile nell’ultimo capitolo e la metterai in pratica unendo due insiemi di dati di recensioni di ristoranti in un unico insieme di dati.

<h2>Supera i problemi comuni con i dati, come rimuovere i duplicati in R </h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. Il tempo che passi a pulire i dati è super importante perché se analizzi dati sporchi potresti finire per tirare fuori conclusioni sbagliate.
<br><br>
In questo corso imparerai un sacco di tecniche per ripulire i dati sporchi usando R. Inizierai convertendo i tipi di dati, applicando vincoli di intervallo e gestendo i duplicati completi e parziali per evitare di contare due volte gli stessi dati.
<br><br>
<h2>Affronta le sfide dei dati avanzati </h2>
Dopo aver fatto pratica con i problemi più comuni sui dati, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i dati mancanti. Dopo ogni nuovo concetto, potrai fare un esercizio pratico per fissare quello che hai imparato e fare esperienza.
<br><br>
<h2>Impara a usare il collegamento dei record durante la pulizia dei dati </h2>
Il collegamento dei record serve per unire i set di dati quando ci sono problemi con i valori, tipo errori di battitura o ortografia diversa. Nel capitolo finale scoprirai questa tecnica utile e la proverai mettendola in pratica per unire due set di dati di recensioni di ristoranti in un unico set di dati.

Joining Data with dplyr

Impara a pulire i dati rapidamente e con precisione per trasformarli in intuizioni straordinarie.

Pulizia dei dati in R

Impara a pulire i dati nel modo più veloce e preciso possibile per passare dai dati grezzi a informazioni super utili.

Scienziato dei dati associato in R

Importazione e pulizia dei dati  in R

Confronta colonne separate di ciascuna coppia.

Attribuisci un punteggio alle coppie usando somma o probabilità.

Seleziona le coppie che sono corrispondenze in base al loro punteggio.

Prima valutare e poi selezionare, o prima selezionare e poi valutare?

Pulizia dei dati in R

Esercizio pratico interattivo