Eliminarea duplicatelor parțiale

Acum că ai identificat și eliminat duplicatele complete, e momentul să verifici dacă există duplicate parțiale. Acestea sunt ceva mai dificil de gestionat decât duplicatele complete. În acest exercițiu, vei identifica mai întâi eventualele duplicate parțiale, apoi vei exersa cea mai comună tehnică de a le trata – eliminarea tuturor duplicatelor parțiale, păstrând doar prima apariție.

dplyr este încărcat, iar bike_share_rides este disponibil.

Acest exercițiu face parte din cursul

Curățarea datelor în R

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Find duplicated ride_ids
bike_share_rides %>% 
  # Count the number of occurrences of each ride_id
  ___ %>% 
  # Filter for rows with a count > 1
  ___

Editează și rulează codul

Acest exercițiu face parte din cursul

Curățarea datelor în R

SkillTag.level.intermediateSkillTag.label

4.8+

813 reviews

Începe cursul gratuit

În acest capitol, vei învăța cum să depășești unele dintre cele mai frecvente probleme ale datelor de calitate slabă. Vei converti tipuri de date, vei aplica constrângeri de interval pentru a elimina punctele de date viitoare și vei înlătura punctele de date duplicate pentru a evita dubla contorizare.

Exercise 1: Constrângeri privind tipurile de date Exercise 2: Tipuri de date comune Exercise 3: Conversia tipurilor de date Exercise 4: Eliminarea șirurilor de caractere Exercise 5: Constrângeri de interval Exercise 6: Constrângeri privind durata curselor Exercise 7: Înapoi în viitor Exercise 8: Constrângeri de unicitate Exercise 9: Duplicate complete Exercise 10: Eliminarea duplicatelor parțiale

Exercițiul curent

Exercise 11: Agregarea duplicatelor parțiale

Datele categoriale și cele de tip text pot fi adesea cele mai dezorganizate părți ale unui set de date, din cauza naturii lor nestructurate. În acest capitol, vei învăța cum să corectezi inconsistențele de spații și majuscule din etichetele de categorie, să combini mai multe categorii într-una singură și să reformatezi șirurile de caractere pentru consistență.

Exercise 1: Verificarea apartenenței Exercise 2: Doar pentru membri Exercise 3: Nu este membru Exercise 4: Probleme cu datele categorice Exercise 5: Identificarea inconsistențelor Exercise 6: Corectarea inconsistențelor Exercise 7: Gruparea categoriilor Exercise 8: Curățarea datelor text Exercise 9: Detectarea datelor text inconsistente Exercise 10: Înlocuire și eliminare Exercise 11: Numere de telefon invalide

În acest capitol, vei aborda probleme mai avansate de curățare a datelor, cum ar fi verificarea că toate greutățile sunt exprimate în kilograme și nu în livre. Vei dobândi, de asemenea, abilități valoroase care te vor ajuta să verifici că valorile au fost adăugate corect și că valorile lipsă nu afectează negativ analizele tale.

Exercise 1: Uniformitate Exercise 2: Uniformitatea datelor Exercise 3: Uniformitatea monedei Exercise 4: Validarea încrucișată a câmpurilor Exercise 5: Validarea totalurilor Exercise 6: Validarea vârstei Exercise 7: Completeness Exercise 8: Tipuri de date lipsă Exercise 9: Vizualizarea datelor lipsă Exercise 10: Tratarea valorilor lipsă

Legătura dintre înregistrări este o tehnică puternică folosită pentru a combina mai multe seturi de date, utilă atunci când valorile conțin greșeli de scriere sau ortografii diferite. În acest capitol, vei învăța cum să legi înregistrările calculând similaritatea dintre șiruri de caractere — apoi vei folosi noile abilități pentru a uni două seturi de date cu recenzii de restaurante într-un singur set de date consolidat.

Exercise 1: Compararea șirurilor de caractere Exercise 2: Calcularea distanței Exercise 3: Distanță mică, diferență mică Exercise 4: Corectarea greșelilor de scriere cu distanța dintre șiruri Exercise 5: Generarea și compararea perechilor Exercise 6: Legătură între înregistrări sau join?Exercise 7: Blocarea perechilor Exercise 8: Compararea perechilor Exercise 9: Scorare și conectare Exercise 10: Mai întâi scorezi, apoi selectezi – sau invers?Exercise 11: Totul laolaltă Exercise 12: Felicitări!