In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Numeric data or ... ?

Summing strings and concatenating numbers

Data range constraints

Tire size constraints

Back to the future

Uniqueness constraints

How big is your subset?

Finding duplicates

Treating duplicates

Common data problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Membership constraints

Members only

Finding consistency

Categorical variables

Categories of errors

Inconsistent categories

Remapping categories

Cleaning text data

Removing titles and taking names

Keeping it descriptive

Text and categorical data problems

In this chapter, you'll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You'll also gain invaluable skills that will help you verify that values have been added correctly, and that missing values don't negatively impact your analyses.

Uniformità

Date ambigue

Valute uniformi

Date uniformi

Convalida tra campi

Opzioni

Validazione incrociata tra campi

Non validazione incrociata tra campi

Validazione incrociata o no?

Com'è messa l'integrità dei nostri dati?

Completezza

Questi valori sono missing at random?

Investitori mancanti

Segui il denaro

Advanced data problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you'll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Minimum edit distance

The cutoff point

Remapping categories II

Generating pairs

To link or not to link?

Pairs of restaurants

Similar restaurants

Linking DataFrames

Getting the right index

Linking them together!

Congratulations!

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

Si dice spesso che i data scientist trascorrano l’80% del tempo a pulire e manipolare i dati e solo il 20% ad analizzarli. Il tempo dedicato alla pulizia è fondamentale, perché analizzare dati sporchi può portarti a conclusioni imprecise.

I video includono trascrizioni live che puoi visualizzare facendo clic su "Show transcript" in basso a sinistra nei video.
Il glossario del corso è disponibile a destra nella sezione delle risorse.
Per ottenere i crediti CPE devi completare il corso e raggiungere un punteggio del 70% nella valutazione qualificata. Puoi accedere alla valutazione facendo clic sull’avviso dei crediti CPE sulla destra.

La pulizia dei dati è un’attività essenziale nella data science. Senza dati correttamente puliti, i risultati di qualsiasi analisi dei dati o modello di Machine Learning possono essere inaccurati. In questo corso imparerai a identificare, diagnosticare e trattare vari problemi di pulizia dei dati in Python, dai più semplici ai più avanzati. Ti occuperai di tipi di dato non corretti, verificherai che i dati rientrino negli intervalli giusti, gestirai i valori mancanti, eseguirai il record linkage e molto altro!

<h2>Scopri come pulire i dati in Python</h2>
La preparazione dei dati è fondamentale: i data scientist dedicano l'80% del loro tempo alla pulizia e alla manipolazione dei dati e solo il 20% del loro tempo all'analisi effettiva. La pulizia dei dati è un passaggio fondamentale per ogni data scientist, perché analizzare dati sporchi può portare a conclusioni sbagliate. 
<br><br>
In questo corso imparerai a riconoscere, capire e risolvere vari problemi di pulizia dei dati in Python, da quelli più semplici a quelli più complicati. Ti occuperai di tipi di dati non corretti, controllerai che i tuoi dati siano nel range giusto, gestirai i dati mancanti, farai il collegamento dei record e molto altro ancora!
<br><br>
<h2>Scopri come pulire diversi tipi di dati</h2>
Il primo capitolo del corso parla dei problemi più comuni con i dati e di come risolverli. Prima di tutto, capirai i tipi di dati di base e come gestirli uno per uno. Poi, dovrai mettere dei limiti di intervallo e togliere i dati che sono uguali.
<br><br>
L'ultimo capitolo parla del record linkage, uno strumento super utile per mettere insieme più set di dati. Imparerai come collegare i record calcolando quanto sono simili le stringhe. Infine, userai le tue nuove competenze per unire due set di dati relativi alle recensioni dei ristoranti in un unico set di dati master pulito.
<br><br>
<h2>Acquisisci sicurezza nella pulizia dei dati</h2>
Alla fine del corso, avrai la sicurezza necessaria per pulire dati di vario tipo e usare il record linkage per unire più set di dati. La pulizia dei dati è una competenza fondamentale per i data scientist. Se vuoi saperne di più sulla pulizia dei dati in Python e le sue applicazioni, dai un'occhiata ai seguenti percorsi: Data Scientist con Python e importazione e pulizia dei dati con Python.

Python Toolbox

Joining Data with pandas

Corso di 4 ore su come pulire dati Python, risolvendo problemi comuni e avanzati, incluso il record linkage.

Pulizia dei dati in Python

Impara a capire e sistemare i dati sporchi e a sviluppare le abilità necessarie per trasformare i tuoi dati grezzi in informazioni precise! 

Scienziato dei dati associato  in Python

Ingegnere dei dati in Python

Importazione e pulizia dei dati  in Python

Confermare l'età fornita dagli utenti incrociandola con la loro data di nascita.

Operazioni per riga come `.sum(axis = 1)`

Assicurarsi che una colonna `subscription_date` non contenga valori impostati nel futuro.

Assicurarsi che una colonna `revenue` sia una colonna numerica.

Validazione incrociata o no?

Pulizia dei dati in Python

Esercizio pratico interattivo