I det här kapitlet lär du dig att hantera några av de vanligaste problemen med smutsiga data. Du konverterar datatyper, tillämpar intervallbegränsningar för att ta bort framtida datapunkter och tar bort duplicerade datapunkter för att undvika dubbelräkning.

Datatypsbegränsningar

Vanliga datatyper

Numerisk data eller ... ?

Summera strängar och konkatenera tal

Begränsningar för dataomfång

Begränsningar för däckstorlek

Tillbaka till framtiden

Unikhetsbegränsningar

Hur stor är din delmängd?

Hitta dubbletter

Hantera dubbletter

Vanliga dataproblem

Kategori- och textdata kan ofta vara de mest ostrukturerade delarna av en datamängd. I det här kapitlet lär du dig att åtgärda inkonsekvent blanksteg och versalisering i kategorietiketter, slå samman flera kategorier till en och formatera om strängar för konsekvens.

Tillhörighetsbegränsningar

Endast för medlemmar

Hitta inkonsistenser

Kategoriska variabler

Typer av fel

Inkonsekventa kategorier

Mappa om kategorier

Rensa textdata

Ta bort titlar och arbeta med namn

Filtrera på svarslängd

Problem med text- och kategoridata

I det här kapitlet går du djupare in på avancerade datarensningsproblem, till exempel att säkerställa att vikter anges i kilogram i stället för pund. Du utvecklar också värdefulla färdigheter som hjälper dig att verifiera att värden har lagts till korrekt och att saknade värden inte påverkar dina analyser negativt.

Enhetlighet

Tvetydiga datum

Enhetlig valuta

Enhetliga datum

Korsvalidering av fält

Alternativ

Korsvalidering

Inte korsvalidering

Korsvalidering eller inte?

Hur är vår dataintegritet?

Fullständighet

Saknas det slumpmässigt?

Saknade investerare

Följ pengarna

Avancerade dataproblem

Postlänkning är en kraftfull teknik för att slå samman flera datamängder, särskilt när värden innehåller stavfel eller varianter av samma stavning. I det här kapitlet lär du dig att länka poster genom att beräkna likheten mellan strängar – sedan använder du dina nya kunskaper för att slå samman två restaurangrecensiondatamängder till en ren masterdatamängd.

Jämföra strängar

Minsta redigeringsavstånd

Tröskelvärdet

Mappa om kategorier II

Generera par

Länka eller inte länka?

Par av restauranger

Liknande restauranger

Länka DataFrames

Hitta rätt index

Länka ihop dem!

Grattis!

Postlänkning

Airlines dataset

Course Glossary

Restaurants dataset II

Restaurants dataset

Ride sharing dataset

Banking dataset

Det brukar sägas att datavetare lägger 80 % av sin tid på att rensa och bearbeta data och bara 20 % på att analysera den. Tiden som läggs på rensning är avgörande – att analysera bristfälliga data kan leda till felaktiga slutsatser.

Videorna innehåller transkript som du kan visa genom att klicka på "Show transcript" längst ned till vänster i videon.
Kursglossar finns till höger i resurssektionen.
För att få CPE-poäng behöver du slutföra kursen och nå 70 % på den kvalificerade bedömningen. Du navigerar till bedömningen via CPE-poängslänken till höger.

Datarensning är en viktig del av datavetenskapligt arbete. Utan ordentligt rensade data kan resultaten från analyser eller maskininlärningsmodeller bli felaktiga. I den här kursen lär du dig att identifiera, diagnostisera och åtgärda en mängd olika datarensningsproblem i Python – från grundläggande till avancerade. Du arbetar med felaktiga datatyper, kontrollerar att data ligger inom rätt intervall, hanterar saknade värden, utför postlänkning och mycket mer!

<h2>Upptäck hur du rengör data i Python</h2>
Det sägs ofta att data scientists lägger 80 % av sin tid på att rensa och bearbeta data och bara 20 % på att analysera den. Datastädning är ett viktigt steg för varje data scientist, eftersom analys av smutsig data kan leda till felaktiga slutsatser. 
<br><br>
I den här kursen lär du dig att identifiera, diagnostisera och åtgärda olika problem med datarensning i Python, från enkla till avancerade. Du kommer att hantera felaktiga datatyper, kontrollera att dina data ligger inom rätt intervall, hantera saknade data, utföra postlänkning och mycket mer!
<br><br>
<h2>Lär dig hur du rengör olika datatyper</h2>
Det första kapitlet i kursen utforskar vanliga dataproblem och hur du kan åtgärda dem. Du kommer först att förstå grundläggande datatyper och hur du hanterar dem var för sig. Efteråt kommer du att tillämpa intervallbegränsningar och ta bort duplicerade datapunkter.
<br><br>
Det sista kapitlet utforskar record linkage, ett kraftfullt verktyg för att sammanföra flera datamängder. Du kommer att lära dig hur du länkar poster genom att beräkna likheten mellan strängar. Slutligen kommer du att använda dina nya färdigheter för att slå ihop två dataset med restaurangrecensioner till ett enda rent masterdataset.
<br><br>
<h2>Få självförtroende i att rensa data</h2>
I slutet av kursen kommer du att få självförtroendet att rensa data av olika typer och använda record linkage för att slå samman flera datamängder. Att rensa data är en viktig färdighet för data scientists. Om du vill lära dig mer om att rensa data i Python och dess tillämpningar, kolla in följande spår: Data Scientist med Python och Importera och rensa data med Python.

Python Toolbox

Joining Data with pandas

Lär dig städa Python-data i denna fyratimmarskurs. Utforska vanliga och avancerade dataproblem.

Datarensning i Python

Lär dig att diagnostisera och åtgärda smutsig data och utveckla färdigheterna som behövs för att omvandla din rådata till korrekta insikter! 

Associate Data Scientist  i Python

Dataingenjör i Python

Importera och rensa data  i Python

Kontrollera en användares uppgivna ålder mot deras födelsedag.

Kontrollera att en kolumn `subscription_date` inte innehåller datum i framtiden.

Kontrollera att en kolumn `revenue` är av numerisk typ.

Korsvalidering eller inte?

Datarensning i Python

Interaktiv övning med praktiskt arbete