In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Verificare l'appartenenza

Opzioni

Vincolo di appartenenza

Altro vincolo

Solo per membri

Non è un membro

Problemi con i dati categorici

Individuare le incoerenze

Correggere le incoerenze

Unire categorie

Pulire i dati testuali

Rilevare dati testuali incoerenti

Sostituire e rimuovere

Numeri di telefono non validi

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Supera i problemi di dati più comuni, come rimuovere i duplicati in R</h2>
Si dice spesso che i data scientist trascorrono l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni errate.
<br><br>
In questo corso imparerai diverse tecniche per pulire dati “sporchi” usando R. Partirai convertendo i tipi di dato, applicando vincoli di intervallo e gestendo duplicati totali e parziali per evitare doppi conteggi.
<br><br>
<h2>Affronta sfide avanzate sui dati</h2>
Dopo aver fatto pratica con i problemi più comuni, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i valori mancanti. Dopo ogni nuovo concetto, potrai svolgere un esercizio pratico per consolidare le conoscenze e fare esperienza.
<br><br>
<h2>Impara a usare il Record Linkage durante la pulizia dei dati</h2>
Il Record Linkage serve a unire insiemi di dati quando i valori presentano problemi come refusi o grafie diverse. Esplorerai questa tecnica utile nell’ultimo capitolo e la metterai in pratica unendo due insiemi di dati di recensioni di ristoranti in un unico insieme di dati.

<h2>Supera i problemi comuni con i dati, come rimuovere i duplicati in R </h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. Il tempo che passi a pulire i dati è super importante perché se analizzi dati sporchi potresti finire per tirare fuori conclusioni sbagliate.
<br><br>
In questo corso imparerai un sacco di tecniche per ripulire i dati sporchi usando R. Inizierai convertendo i tipi di dati, applicando vincoli di intervallo e gestendo i duplicati completi e parziali per evitare di contare due volte gli stessi dati.
<br><br>
<h2>Affronta le sfide dei dati avanzati </h2>
Dopo aver fatto pratica con i problemi più comuni sui dati, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i dati mancanti. Dopo ogni nuovo concetto, potrai fare un esercizio pratico per fissare quello che hai imparato e fare esperienza.
<br><br>
<h2>Impara a usare il collegamento dei record durante la pulizia dei dati </h2>
Il collegamento dei record serve per unire i set di dati quando ci sono problemi con i valori, tipo errori di battitura o ortografia diversa. Nel capitolo finale scoprirai questa tecnica utile e la proverai mettendola in pratica per unire due set di dati di recensioni di ristoranti in un unico set di dati.

Joining Data with dplyr

Impara a pulire i dati rapidamente e con precisione per trasformarli in intuizioni straordinarie.

Pulizia dei dati in R

Impara a pulire i dati nel modo più veloce e preciso possibile per passare dai dati grezzi a informazioni super utili.

Scienziato dei dati associato in R

Importazione e pulizia dei dati  in R

Una colonna `day_of_week` con il valore `12`.

Una colonna `has_loan` con il valore `25`.

Una colonna `birthdate` con valori nel futuro.

Una colonna `age` con valori superiori a `130`.

Una colonna `revenue` rappresentata come stringa.

Solo per membri

Pulizia dei dati in R

Esercizio pratico interattivo