Duplicate complete

Ai fost notificat că a fost efectuată o actualizare a conductei de date pentru bike sharing, cu scopul de a o eficientiza, însă aceasta poate genera mai ușor duplicate. Pentru a putea continua să folosești aceleași scripturi în analizele săptămânale despre statisticile curselor, trebuie să te asiguri că orice duplicate din setul de date sunt eliminate în prealabil.

Atunci când mai multe rânduri dintr-un data frame au aceleași valori pentru toate coloanele, acestea sunt duplicate complete ale aceluiași rând. Eliminarea acestor duplicate este importantă, deoarece repetarea aceleiași valori de mai multe ori poate distorsiona statisticile sumare, cum ar fi media și mediana. Fiecare cursă, inclusiv ride_id-ul său, trebuie să fie unică.

dplyr este încărcat și bike_share_rides este disponibil.

Acest exercițiu face parte din cursul

Curățarea datelor în R

Instrucțiuni pentru exercițiu

Obține numărul total de duplicate complete din bike_share_rides.
Elimină toate duplicatele complete din bike_share_rides și salvează noul data frame ca bike_share_rides_unique.
Obține numărul total de duplicate complete din noul data frame bike_share_rides_unique.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Count the number of full duplicates
___

# Remove duplicates
bike_share_rides_unique <- ___

# Count the full duplicates in bike_share_rides_unique
___

Editează și rulează codul

Acest exercițiu face parte din cursul

Curățarea datelor în R

SkillTag.level.intermediateSkillTag.label

4.8+

Începe cursul gratuit

În acest capitol, vei învăța cum să depășești unele dintre cele mai frecvente probleme ale datelor de calitate slabă. Vei converti tipuri de date, vei aplica constrângeri de interval pentru a elimina punctele de date viitoare și vei înlătura punctele de date duplicate pentru a evita dubla contorizare.

Exercise 1: Constrângeri privind tipurile de date Exercise 2: Tipuri de date comune Exercise 3: Conversia tipurilor de date Exercise 4: Eliminarea șirurilor de caractere Exercise 5: Constrângeri de interval Exercise 6: Constrângeri privind durata curselor Exercise 7: Înapoi în viitor Exercise 8: Constrângeri de unicitate Exercise 9: Duplicate complete

Exercițiul curent

Exercise 10: Eliminarea duplicatelor parțiale Exercise 11: Agregarea duplicatelor parțiale

Datele categoriale și cele de tip text pot fi adesea cele mai dezorganizate părți ale unui set de date, din cauza naturii lor nestructurate. În acest capitol, vei învăța cum să corectezi inconsistențele de spații și majuscule din etichetele de categorie, să combini mai multe categorii într-una singură și să reformatezi șirurile de caractere pentru consistență.

Exercise 1: Verificarea apartenenței Exercise 2: Doar pentru membri Exercise 3: Nu este membru Exercise 4: Probleme cu datele categorice Exercise 5: Identificarea inconsistențelor Exercise 6: Corectarea inconsistențelor Exercise 7: Gruparea categoriilor Exercise 8: Curățarea datelor text Exercise 9: Detectarea datelor text inconsistente Exercise 10: Înlocuire și eliminare Exercise 11: Numere de telefon invalide

În acest capitol, vei aborda probleme mai avansate de curățare a datelor, cum ar fi verificarea că toate greutățile sunt exprimate în kilograme și nu în livre. Vei dobândi, de asemenea, abilități valoroase care te vor ajuta să verifici că valorile au fost adăugate corect și că valorile lipsă nu afectează negativ analizele tale.

Exercise 1: Uniformitate Exercise 2: Uniformitatea datelor Exercise 3: Uniformitatea monedei Exercise 4: Validarea încrucișată a câmpurilor Exercise 5: Validarea totalurilor Exercise 6: Validarea vârstei Exercise 7: Completeness Exercise 8: Tipuri de date lipsă Exercise 9: Vizualizarea datelor lipsă Exercise 10: Tratarea valorilor lipsă

Legătura dintre înregistrări este o tehnică puternică folosită pentru a combina mai multe seturi de date, utilă atunci când valorile conțin greșeli de scriere sau ortografii diferite. În acest capitol, vei învăța cum să legi înregistrările calculând similaritatea dintre șiruri de caractere — apoi vei folosi noile abilități pentru a uni două seturi de date cu recenzii de restaurante într-un singur set de date consolidat.

Exercise 1: Compararea șirurilor de caractere Exercise 2: Calcularea distanței Exercise 3: Distanță mică, diferență mică Exercise 4: Corectarea greșelilor de scriere cu distanța dintre șiruri Exercise 5: Generarea și compararea perechilor Exercise 6: Legătură între înregistrări sau join?Exercise 7: Blocarea perechilor Exercise 8: Compararea perechilor Exercise 9: Scorare și conectare Exercise 10: Mai întâi scorezi, apoi selectezi – sau invers?Exercise 11: Totul laolaltă Exercise 12: Felicitări!