In questo capitolo imparerai a superare alcuni dei problemi più comuni nei dati sporchi. Convertirai i tipi di dato, applicherai vincoli di intervallo per rimuovere punti dati futuri e eliminerai i duplicati per evitare doppi conteggi.

Vincoli sui tipi di dati

Tipi di dati comuni

Conversione dei tipi di dato

Pulizia di stringhe

Vincoli di intervallo

Vincoli sulla durata delle corse

Ritorno al futuro

Vincoli di unicità

Duplicati completi

Rimozione dei duplicati parziali

Aggregare duplicati parziali

Problemi comuni nei dati

I dati categorici e testuali sono spesso le parti più disordinate di un insieme di dati per via della loro natura non strutturata. In questo capitolo imparerai a correggere spazi bianchi e incoerenze nelle maiuscole nelle etichette di categoria, ad accorpare più categorie in una sola e a riformattare le stringhe per garantire coerenza.

Verificare l'appartenenza

Solo per membri

Non è un membro

Problemi con i dati categorici

Individuare le incoerenze

Correggere le incoerenze

Unire categorie

Pulire i dati testuali

Rilevare dati testuali incoerenti

Sostituire e rimuovere

Numeri di telefono non validi

Dati categorici e testuali

In questo capitolo affronterai problemi di pulizia più avanzati, come garantire che i pesi siano tutti espressi in chilogrammi invece che in libbre. Acquisirai anche competenze preziose per verificare che i valori siano stati inseriti correttamente e che i valori mancanti non compromettano le tue analisi.

Uniformità

Uniformità delle date

Uniformità della valuta

Convalida tra campi

Convalidare i totali

Convalidare l’età

Completezza

Opzioni

Missing completely at random

Missing at random

Missing not at random

Tipi di mancanza

Visualizzare i valori mancanti

Gestione dei dati mancanti

Problemi avanzati sui dati

Il record linkage è una potente tecnica per unire più insiemi di dati, utile quando i valori presentano refusi o grafie differenti. In questo capitolo imparerai a collegare i record calcolando la similarità tra stringhe; poi userai le nuove competenze per unire due insiemi di dati di recensioni di ristoranti in un unico insieme di dati pulito e principale.

Confrontare le stringhe

Calcolare la distanza

Piccola distanza, piccola differenza

Correggere i refusi con la distanza tra stringhe

Generare e confrontare coppie

Collegare o fare una join?

Pair blocking

Confrontare le coppie

Valutare e collegare

Prima valutare e poi selezionare, o prima selezionare e poi valutare?

Mettere tutto insieme

Congratulazioni!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Supera i problemi di dati più comuni, come rimuovere i duplicati in R</h2>
Si dice spesso che i data scientist trascorrono l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni errate.
<br><br>
In questo corso imparerai diverse tecniche per pulire dati “sporchi” usando R. Partirai convertendo i tipi di dato, applicando vincoli di intervallo e gestendo duplicati totali e parziali per evitare doppi conteggi.
<br><br>
<h2>Affronta sfide avanzate sui dati</h2>
Dopo aver fatto pratica con i problemi più comuni, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i valori mancanti. Dopo ogni nuovo concetto, potrai svolgere un esercizio pratico per consolidare le conoscenze e fare esperienza.
<br><br>
<h2>Impara a usare il Record Linkage durante la pulizia dei dati</h2>
Il Record Linkage serve a unire insiemi di dati quando i valori presentano problemi come refusi o grafie diverse. Esplorerai questa tecnica utile nell’ultimo capitolo e la metterai in pratica unendo due insiemi di dati di recensioni di ristoranti in un unico insieme di dati.

<h2>Supera i problemi comuni con i dati, come rimuovere i duplicati in R </h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. Il tempo che passi a pulire i dati è super importante perché se analizzi dati sporchi potresti finire per tirare fuori conclusioni sbagliate.
<br><br>
In questo corso imparerai un sacco di tecniche per ripulire i dati sporchi usando R. Inizierai convertendo i tipi di dati, applicando vincoli di intervallo e gestendo i duplicati completi e parziali per evitare di contare due volte gli stessi dati.
<br><br>
<h2>Affronta le sfide dei dati avanzati </h2>
Dopo aver fatto pratica con i problemi più comuni sui dati, passerai a sfide più avanzate, come garantire la coerenza delle misurazioni e gestire i dati mancanti. Dopo ogni nuovo concetto, potrai fare un esercizio pratico per fissare quello che hai imparato e fare esperienza.
<br><br>
<h2>Impara a usare il collegamento dei record durante la pulizia dei dati </h2>
Il collegamento dei record serve per unire i set di dati quando ci sono problemi con i valori, tipo errori di battitura o ortografia diversa. Nel capitolo finale scoprirai questa tecnica utile e la proverai mettendola in pratica per unire due set di dati di recensioni di ristoranti in un unico set di dati.

Joining Data with dplyr

Impara a pulire i dati rapidamente e con precisione per trasformarli in intuizioni straordinarie.

Pulizia dei dati in R

Impara a pulire i dati nel modo più veloce e preciso possibile per passare dai dati grezzi a informazioni super utili.

Scienziato dei dati associato in R

Importazione e pulizia dei dati  in R

I questionari sono andati persi per posta in modo casuale.

I punteggi dei test mancano per gli studenti di un determinato distretto scolastico, ma non per gli altri.

Le persone più giovani avevano meno probabilità di farsi misurare la pressione dal medico, quindi nelle loro cartelle cliniche mancavano i dati sulla pressione sanguigna.

Una bilancia ha un limite di 30 lb, quindi le spedizioni sopra le 30 lb non hanno un peso registrato.

I campioni di sangue analizzati durante il turno di notte erano più soggetti a contaminazione, creando risultati del test mancanti, ma l'orario dell'analisi non è stato registrato.

Tipi di mancanza

Pulizia dei dati in R

esercizio interattivo pratico