In questo capitolo imparerai a superare alcuni dei problemi più comuni dei dati sporchi. Convertirai i tipi di dato, applicherai vincoli di intervallo per rimuovere i punti dati futuri e eliminerai i duplicati per evitare doppi conteggi.

Vincoli sui tipi di dati

Tipi di dato comuni

Dati numerici o ... ?

Somma di stringhe e concatenazione di numeri

Vincoli sugli intervalli di dati

Vincoli sulla misura degli pneumatici

Ritorno al futuro

Vincoli di unicità

Quanto è grande il tuo sottoinsieme?

Trovare i duplicati

Gestire i duplicati

Problemi comuni nei dati

I dati categorici e testuali sono spesso tra le parti più disordinate di un insieme di dati a causa della loro natura non strutturata. In questo capitolo imparerai a correggere incongruenze di spazi bianchi e maiuscole/minuscole nelle etichette di categoria, a unire più categorie in una sola e a riformattare le stringhe per garantire coerenza.

Vincoli di appartenenza

Solo per membri

Trovare la coerenza

Variabili categoriche

Categorie di errori

Categorie incoerenti

Rimappare le categorie

Pulire i dati testuali

Rimuovere i titoli e prendere i nomi

Mantienilo descrittivo

Problemi con dati testuali e categorici

In questo capitolo affronterai problemi di pulizia dei dati più avanzati, come assicurarti che i pesi siano tutti espressi in chilogrammi invece che in libbre. Acquisirai anche competenze preziose per verificare che i valori siano stati sommati correttamente e che i valori mancanti non influenzino negativamente le tue analisi.

Uniformità

Date ambigue

Valute uniformi

Date uniformi

Convalida tra campi

Opzioni

Validazione incrociata tra campi

Non validazione incrociata tra campi

Validazione incrociata o no?

Com'è messa l'integrità dei nostri dati?

Completezza

Questi valori sono missing at random?

Investitori mancanti

Segui il denaro

Problemi avanzati sui dati

Il record linkage è una tecnica potente usata per unire più insiemi di dati quando i valori presentano refusi o grafie diverse. In questo capitolo imparerai a collegare i record calcolando la somiglianza tra stringhe; poi userai le nuove competenze per unire due insiemi di recensioni di ristoranti in un unico insieme principale pulito.

Confrontare le stringhe

Distanza di edit minima

Il punto di cutoff

Rimappare le categorie II

Generare coppie

Collegare o non collegare?

Coppie di ristoranti

Ristoranti simili

Collegare i DataFrame

Ottenere l'indice giusto

Collegali insieme!

Congratulazioni!

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

Si dice spesso che i data scientist trascorrano l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni imprecise.

I video includono trascrizioni live che puoi visualizzare facendo clic su "Show transcript" in basso a sinistra nei video.
Il glossario del corso è disponibile a destra nella sezione delle risorse.
Per ottenere i crediti CPE devi completare il corso e raggiungere un punteggio del 70% nella valutazione qualificata. Puoi accedere alla valutazione facendo clic sull’avviso dei crediti CPE sulla destra.

La pulizia dei dati è un’attività essenziale nella data science. Senza dati correttamente puliti, i risultati di qualsiasi analisi dei dati o modello di Machine Learning possono essere inaccurati. In questo corso imparerai a identificare, diagnosticare e trattare vari problemi di pulizia dei dati in Python, dai più semplici ai più avanzati. Ti occuperai di tipi di dato non corretti, verificherai che i dati rientrino negli intervalli giusti, gestirai i valori mancanti, eseguirai il record linkage e molto altro!

<h2>Scopri come pulire i dati in Python</h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. La pulizia dei dati è un passaggio fondamentale per ogni data scientist, perché analizzare dati sporchi può portare a conclusioni sbagliate. 
<br><br>
In questo corso imparerai a riconoscere, capire e risolvere vari problemi di pulizia dei dati in Python, da quelli più semplici a quelli più complicati. Ti occuperai di tipi di dati non corretti, controllerai che i tuoi dati siano nel range giusto, gestirai i dati mancanti, farai il collegamento dei record e molto altro ancora!
<br><br>
<h2>Scopri come pulire diversi tipi di dati</h2>
Il primo capitolo del corso parla dei problemi più comuni con i dati e di come risolverli. Prima di tutto, capirai i tipi di dati di base e come gestirli uno per uno. Poi, dovrai mettere dei limiti di intervallo e togliere i dati che sono uguali.
<br><br>
L'ultimo capitolo parla del record linkage, uno strumento super utile per mettere insieme più set di dati. Imparerai come collegare i record calcolando quanto sono simili le stringhe. Infine, userai le tue nuove competenze per unire due set di dati relativi alle recensioni dei ristoranti in un unico set di dati master pulito.
<br><br>
<h2>Acquisisci sicurezza nella pulizia dei dati</h2>
Alla fine del corso, avrai la sicurezza necessaria per pulire dati di vario tipo e usare il record linkage per unire più set di dati. La pulizia dei dati è una competenza fondamentale per i data scientist. Se vuoi saperne di più sulla pulizia dei dati in Python e le sue applicazioni, dai un'occhiata ai seguenti percorsi: Data Scientist con Python e importazione e pulizia dei dati con Python.

Python Toolbox

Joining Data with pandas

Corso di 4 ore su come pulire dati Python, risolvendo problemi comuni e avanzati, incluso il record linkage.

Pulizia dei dati in Python

Impara a capire e sistemare i dati sporchi e a sviluppare le abilità necessarie per trasformare i tuoi dati grezzi in informazioni precise! 

Scienziato dei dati associato  in Python

Ingegnere dei dati in Python

Importazione e pulizia dei dati  in Python

Confermare l'età fornita dagli utenti incrociandola con la loro data di nascita.

Operazioni per riga come `.sum(axis = 1)`

Assicurarsi che una colonna `subscription_date` non contenga valori impostati nel futuro.

Assicurarsi che una colonna `revenue` sia una colonna numerica.

Validazione incrociata o no?

Pulizia dei dati in Python

esercizio interattivo pratico