In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformità

Uniformità delle date

Uniformità della valuta

Convalida tra campi

Convalidare i totali

Convalidare l’età

Completezza

Opzioni

Missing completely at random

Missing at random

Missing not at random

Tipi di mancanza

Visualizzare i valori mancanti

Gestione dei dati mancanti

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Supera i problemi di dati più comuni, come rimuovere i duplicati in R</h2>
Si dice spesso che i data scientist trascorrono l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni errate.
<br><br>
In questo corso imparerai diverse tecniche per pulire dati “sporchi” usando R. Partirai convertendo i tipi di dato, applicando vincoli di intervallo e gestendo duplicati totali e parziali per evitare doppi conteggi.
<br><br>
<h2>Affronta sfide avanzate sui dati</h2>
Dopo aver fatto pratica con i problemi più comuni, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i valori mancanti. Dopo ogni nuovo concetto, potrai svolgere un esercizio pratico per consolidare le conoscenze e fare esperienza.
<br><br>
<h2>Impara a usare il Record Linkage durante la pulizia dei dati</h2>
Il Record Linkage serve a unire insiemi di dati quando i valori presentano problemi come refusi o grafie diverse. Esplorerai questa tecnica utile nell’ultimo capitolo e la metterai in pratica unendo due insiemi di dati di recensioni di ristoranti in un unico insieme di dati.

<h2>Supera i problemi comuni con i dati, come rimuovere i duplicati in R </h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. Il tempo che passi a pulire i dati è super importante perché se analizzi dati sporchi potresti finire per tirare fuori conclusioni sbagliate.
<br><br>
In questo corso imparerai un sacco di tecniche per ripulire i dati sporchi usando R. Inizierai convertendo i tipi di dati, applicando vincoli di intervallo e gestendo i duplicati completi e parziali per evitare di contare due volte gli stessi dati.
<br><br>
<h2>Affronta le sfide dei dati avanzati </h2>
Dopo aver fatto pratica con i problemi più comuni sui dati, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i dati mancanti. Dopo ogni nuovo concetto, potrai fare un esercizio pratico per fissare quello che hai imparato e fare esperienza.
<br><br>
<h2>Impara a usare il collegamento dei record durante la pulizia dei dati </h2>
Il collegamento dei record serve per unire i set di dati quando ci sono problemi con i valori, tipo errori di battitura o ortografia diversa. Nel capitolo finale scoprirai questa tecnica utile e la proverai mettendola in pratica per unire due set di dati di recensioni di ristoranti in un unico set di dati.

Joining Data with dplyr

Impara a pulire i dati rapidamente e con precisione per trasformarli in intuizioni straordinarie.

Pulizia dei dati in R

Impara a pulire i dati nel modo più veloce e preciso possibile per passare dai dati grezzi a informazioni super utili.

Scienziato dei dati associato in R

Importazione e pulizia dei dati  in R

I questionari sono andati persi per posta in modo casuale.

I punteggi dei test mancano per gli studenti di un determinato distretto scolastico, ma non per gli altri.

Le persone più giovani avevano meno probabilità di farsi misurare la pressione dal medico, quindi nelle loro cartelle cliniche mancavano i dati sulla pressione sanguigna.

Una bilancia ha un limite di 30 lb, quindi le spedizioni sopra le 30 lb non hanno un peso registrato.

I campioni di sangue analizzati durante il turno di notte erano più soggetti a contaminazione, creando risultati del test mancanti, ma l'orario dell'analisi non è stato registrato.

Tipi di mancanza

Pulizia dei dati in R

Esercizio pratico interattivo