În acest capitol vei învăța cum să depășești unele dintre cele mai frecvente probleme ale datelor murdare. Vei converti tipuri de date, vei aplica constrângeri de interval pentru a elimina puncte de date din viitor și vei elimina duplicatele pentru a evita dubla contorizare.

Constrângeri privind tipurile de date

Tipuri comune de date

Date numerice sau ... ?

Adunarea șirurilor și concatenarea numerelor

Constrângeri de interval pentru date

Constrângeri privind dimensiunea anvelopelor

Înapoi în viitor

Constrângeri de unicitate

Cât de mare este subsetul tău?

Găsirea duplicatelor

Tratarea duplicatelor

Probleme frecvente ale datelor

Datele categoriale și cele text pot fi unele dintre cele mai dezordonate părți ale unui set de date, din cauza naturii lor nestructurate. În acest capitol vei învăța cum să corectezi inconsistențele de spațiere și de majuscule din etichetele categoriilor, să grupezi mai multe categorii într-una singură și să reformatezi șirurile de caractere pentru consistență.

Restricții de apartenență

Doar pentru membri

Găsirea inconsistențelor

Variabile categorice

Categorii de erori

Categorii inconsistente

Remaparea categoriilor

Curățarea datelor text

Eliminarea titlurilor și păstrarea numelor

Răspunsuri detaliate

Probleme cu datele text și categoriale

În acest capitol vei aborda probleme mai avansate de curățare a datelor, cum ar fi verificarea că greutățile sunt exprimate în kilograme, nu în livre. Vei dobândi, de asemenea, abilități valoroase care te vor ajuta să verifici că valorile au fost adăugate corect și că valorile lipsă nu afectează negativ analizele tale.

Uniformitate

Date ambigue

Monede uniforme

Date uniforme

Validarea încrucișată a câmpurilor

Opțiuni

Validare încrucișată a câmpurilor

Nu este validare încrucișată a câmpurilor

Validare încrucișată sau nu?

Cât de integre sunt datele noastre?

Completitudine

Lipsesc la întâmplare?

Investitori lipsă

Urmărește banii

Probleme avansate ale datelor

Legătura între înregistrări este o tehnică puternică folosită pentru a îmbina mai multe seturi de date, utilă atunci când valorile conțin greșeli de scriere sau variante ortografice diferite. În acest capitol vei învăța cum să legi înregistrările calculând similaritatea dintre șiruri de caractere – apoi vei folosi noile abilități pentru a uni două seturi de date cu recenzii de restaurante într-un set de date principal, curat.

Compararea șirurilor de caractere

Distanța minimă de editare

Pragul de similitudine

Remaparea categoriilor II

Generarea perechilor

Să legi sau să nu legi?

Perechi de restaurante

Restaurante similare

Legarea DataFrame-urilor

Alegerea indexului corect

Hai să le unim!

Felicitări!

Legătura între înregistrări

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

Se spune adesea că oamenii de știință ai datelor petrec 80% din timp curățând și prelucrând date și doar 20% analizându-le. Timpul dedicat curățării este esențial, deoarece analiza unor date de proastă calitate poate duce la concluzii incorecte.

Videourile conțin transcrieri live pe care le poți afișa dând clic pe „Show transcript" în colțul din stânga jos al playerului.
Glosarul cursului îl găsești în dreapta, în secțiunea de resurse.
Pentru a obține credite CPE trebuie să finalizezi cursul și să obții un scor de minimum 70% la evaluarea calificată. Poți naviga la evaluare dând clic pe secțiunea CPE credits din dreapta.

Curățarea datelor este o sarcină esențială în știința datelor. Fără date corect curățate, rezultatele oricărei analize sau ale oricărui model de machine learning pot fi inexacte. În acest curs vei învăța cum să identifici, să diagnostichezi și să rezolvi o varietate de probleme de curățare a datelor în Python, de la simple la avansate. Vei lucra cu tipuri de date incorecte, vei verifica dacă datele se află în intervalul corect, vei gestiona valorile lipsă, vei realiza legătura între înregistrări și multe altele!

<h2>Descoperă cum să cureți datele în Python</h2>
Se spune adesea că oamenii de știință în domeniul datelor își petrec 80% din timp curățând și manipulând datele și doar 20% din timp analizându-le. Curățarea datelor este un pas esențial pentru orice data scientist, deoarece analiza datelor murdare poate duce la concluzii inexacte. 
<br><br>
În acest curs, vei învăța cum să identifici, să diagnostichezi și să rezolvi diverse probleme de curățare a datelor în Python, de la cele simple la cele avansate. Vei lucra cu tipuri de date necorespunzătoare, vei verifica dacă datele tale se află în intervalul corect, vei gestiona datele lipsă, vei realiza asocierea înregistrărilor și multe altele!
<br><br>
<h2>Învață cum să cureți diferite tipuri de date</h2>
Primul capitol al cursului explorează problemele frecvente ale datelor și cum le poți rezolva. Vei înțelege mai întâi tipurile de date de bază și cum să lucrezi cu ele individual. După aceea, vei aplica constrângeri de interval și vei elimina punctele de date duplicate.
<br><br>
Ultimul capitol explorează legarea înregistrărilor, un instrument puternic pentru a îmbina mai multe seturi de date. Vei învăța cum să legi înregistrările calculând similaritatea dintre șiruri. În cele din urmă, vei folosi noile tale abilități pentru a uni două seturi de date cu recenzii de restaurante într-un singur set de date principal, curat.
<br><br>
<h2>Câștigă încredere în curățarea datelor</h2>
La finalul cursului, vei dobândi încrederea necesară pentru a curăța date din diverse tipuri și pentru a folosi record linkage pentru a îmbina mai multe seturi de date. Curățarea datelor este o abilitate esențială pentru oamenii de știință în domeniul datelor. Dacă vrei să afli mai multe despre curățarea datelor în Python și aplicațiile sale, consultă următoarele trasee: Data Scientist cu Python și Importarea și Curățarea Datelor cu Python.

Python Toolbox

Joining Data with pandas

Curăță datele Python în acest curs de patru ore. Vei învăța să rezolvi probleme comune și avansate.

Curățarea datelor în Python

Învață să diagnostichezi și să tratezi datele murdare și dezvoltă abilitățile necesare pentru a transforma datele brute în informații exacte! 

Asociat Data Scientist  în Python

Inginer de date în Python

Importarea și curățarea datelor  în Python

Date ambigue

Curățarea datelor în Python

Exercițiu interactiv practic