I det här kapitlet lär du dig att hantera några av de vanligaste problemen med smutsig data. Du konverterar datatyper, tillämpar intervallbegränsningar för att ta bort framtida datapunkter och tar bort duplicerade datapunkter för att undvika dubbelräkning.

Datatypsbegränsningar

Vanliga datatyper

Konvertera datatyper

Rensa strängar

Intervallbegränsningar

Begränsningar för cykelturens längd

Tillbaka till framtiden

Unikhetsbegränsningar

Fullständiga dubbletter

Ta bort partiella dubbletter

Aggregera partiella dubbletter

Vanliga dataproblem

Kategorisk data och textdata kan ofta vara de mest svårhanterliga delarna av en datamängd på grund av sin ostrukturerade natur. I det här kapitlet lär du dig att åtgärda inkonsekvenser med blanksteg och versalisering i kategorietiketter, slå ihop flera kategorier till en och formatera om strängar för enhetlighet.

Kontrollera medlemskap

Endast för medlemmar

Inte ett giltigt värde

Problem med kategoriska data

Identifiera inkonsekvenser

Rätta inkonsistenser

Slå ihop kategorier

Rensa textdata

Identifiera inkonsekvent textdata

Ersätta och ta bort

Ogiltiga telefonnummer

Kategorisk data och textdata

I det här kapitlet fördjupar du dig i mer avancerade datarensningsproblem, till exempel att säkerställa att vikter anges i kilogram i stället för pund. Du får också värdefulla färdigheter som hjälper dig att kontrollera att värden har lagts till korrekt och att saknade värden inte påverkar dina analyser negativt.

Enhetlighet

Enhetliga datum

Enhetlig valuta

Korsvalidering av fält

Validera totalsummor

Validera ålder

Fullständighet

Alternativ

Saknas helt slumpmässigt

Saknas slumpmässigt

Saknas inte slumpmässigt

Typer av saknade värden

Visualisera saknade värden

Hantera saknade värden

Avancerade dataproblem

Postlänkning är en kraftfull teknik som används för att sammanfoga flera datamängder, särskilt när värden innehåller stavfel eller olika stavningar. I det här kapitlet lär du dig att länka poster genom att beräkna likheten mellan strängar – sedan använder du dina nya färdigheter för att slå samman två restaurangrecensiondatamängder till en samlad och ren datamängd.

Jämföra strängar

Beräkna avstånd

Litet avstånd, liten skillnad

Rätta stavfel med strängavstånd

Generera och jämföra par

Postlänkning eller join?

Parblockering

Jämföra par

Poängsättning och länkning

Poängsätt sedan välj, eller välj sedan poängsätt?

Sätt ihop allt

Grattis!

Postlänkning

Bike Sharing

Fodor's

Zagat

SFO Satisfaction Survey

Customer Accounts

<h2>Hantera vanliga dataproblem som att ta bort dubbletter i R</h2>
Det brukar sägas att datavetare lägger 80 % av sin tid på att rensa och bearbeta data och bara 20 % på att analysera den. Den tid som läggs på rensning är avgörande – att analysera felaktig data kan leda till felaktiga slutsatser.
<br><br>
I den här kursen lär du dig en rad tekniker för att rensa smutsig data med hjälp av R. Du börjar med att konvertera datatyper, tillämpa intervallbegränsningar och hantera fullständiga och partiella dubbletter för att undvika dubbelräkning.
<br><br>
<h2>Fördjupa dig i mer avancerade datautmaningar</h2>
När du har övat på vanliga dataproblem går du vidare till mer avancerade utmaningar, till exempel att säkerställa enhetliga mätenheter och hantera saknade värden. Efter varje nytt begrepp får du möjlighet att genomföra en praktisk övning för att befästa dina kunskaper och bygga vidare på din erfarenhet.
<br><br>
<h2>Lär dig använda postlänkning vid datarensning</h2>
Postlänkning används för att sammanfoga datamängder när värdena innehåller fel som stavfel eller olika stavningar. Du utforskar den här användbara tekniken i det sista kapitlet och övar på att använda den för att slå samman två restaurangrecensiondatamängder till en enda datamängd.

<h2>{
  "results": []
}</h2>
Det sägs ofta att data scientists lägger 80 % av sin tid på att rensa och bearbeta data och bara 20 % av sin tid på att analysera den. Tiden som läggs på att rensa data är avgörande, eftersom analys av smutsig data kan leda till att du drar felaktiga slutsatser.
<br><br>
I den här kursen lär du dig en rad tekniker som hjälper dig att rensa smutsig data med R. Du börjar med att konvertera datatyper, tillämpa intervallbegränsningar och hantera fullständiga och partiella dubbletter för att undvika dubbelräkning.
<br><br>
<h2>Fördjupa dig i avancerade datautmaningar </h2>
När du har övat på att arbeta med vanliga dataproblem går du vidare till mer avancerade utmaningar, som att säkerställa konsekvens i mätningar och hantera saknade data. Efter varje nytt koncept får du möjlighet att genomföra en praktisk övning för att befästa dina kunskaper och bygga upp din erfarenhet.
<br><br>
<h2>Lär dig använda record linkage vid datarensning </h2>
Record linkage används för att slå samman dataset när värdena har problem som stavfel eller olika stavningar. Du kommer att utforska denna användbara teknik i det sista kapitlet och öva på tillämpningen genom att använda den för att slå ihop två dataset med restaurangrecensioner till ett enda dataset.

Joining Data with dplyr

Lär dig att snabbt och noggrant rengöra data för att omvandla rådata till fantastiska insikter.

Datarensning i R

Lär dig att rensa data så snabbt och exakt som möjligt för att hjälpa dig gå från rådata till fantastiska insikter.

Associate Data Scientist i R

Importera och rensa data  i R

Enkäter förlorades slumpmässigt i posten.

Testresultat saknas för elever från ett visst skoldistrikt, men inte för de övriga.

Yngre personer var mindre benägna att mäta sitt blodtryck hos läkaren, vilket innebär att deras journaler saknar blodtrycksdata.

En våg har en maxgräns på 30 lbs, vilket gör att försändelser tyngre än 30 lbs saknar registrerad vikt.

Blodprover som analyserades under nattskiftet hade större risk att vara kontaminerade, vilket ledde till saknade testresultat – men tidpunkten för testningen registrerades inte.

Typer av saknade värden

Datarensning i R

Interaktiv övning med praktiskt arbete