In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformity

Date uniformity

Currency uniformity

Cross field validation

Validating totals

Validating age

Completeness

Types of missingness

Visualizing missing data

Treating missing data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Strings vergelijken

Afstand berekenen

Kleine afstand, klein verschil

Typfouten oplossen met stringafstand

Paren genereren en vergelijken

Opties

Record linkage

Gewone joins

Koppelen of joinen?

Pair blocking

Paren vergelijken

Scoren en koppelen

Record-linkageproces

Eerst scoren en dan selecteren, of eerst selecteren en dan scoren?

Alles samenbrengen

Gefeliciteerd!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Pak veelvoorkomende dataproblemen aan, zoals het verwijderen van duplicaten in R</h2>
Er wordt vaak gezegd dat data scientists 80% van hun tijd besteden aan het opschonen en bewerken van data, en slechts 20% aan de analyse. Die tijd is cruciaal, want het analyseren van rommelige data kan tot onjuiste conclusies leiden.
<br><br>
In deze cursus leer je verschillende technieken om rommelige data met R op te schonen. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbel tellen te voorkomen.
<br><br>
<h2>Verdiep je in geavanceerde data-uitdagingen</h2>
Nadat je hebt geoefend met veelvoorkomende dataproblemen, ga je verder met meer geavanceerde uitdagingen, zoals het zorgen voor consistente meeteenheden en het omgaan met ontbrekende data. Na elk nieuw concept kun je een hands-on oefening maken om je kennis te verankeren en ervaring op te bouwen.
<br><br>
<h2>Leer Record Linkage gebruiken tijdens het opschonen</h2>
Record Linkage wordt gebruikt om gegevenssets te combineren wanneer waarden problemen hebben, zoals typfouten of verschillende spellingen. Je verkent deze handige techniek in het laatste hoofdstuk en oefent met het samenvoegen van twee gegevenssets met restaurantreviews tot één gegevensset.

<h2>Overwin veelvoorkomende gegevensproblemen, zoals het verwijderen van dubbele gegevens in R </h2>
Er wordt vaak gezegd dat datawetenschappers 80% van hun tijd besteden aan het opschonen en bewerken van data en maar 20% aan het analyseren ervan. De tijd die je besteedt aan het opschonen is superbelangrijk, want als je rommelige data analyseert, kun je verkeerde conclusies trekken.
<br><br>
In deze cursus leer je allerlei technieken om vieze data op te schonen met R. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbeltellingen te voorkomen.
<br><br>
<h2>Duik in geavanceerde uitdagingen op het gebied van data </h2>
Als je eenmaal hebt geoefend met veelvoorkomende gegevensproblemen, ga je verder met moeilijkere uitdagingen, zoals zorgen dat metingen consistent zijn en omgaan met ontbrekende gegevens. Na elk nieuw concept krijg je de kans om een praktische oefening te doen om je kennis te versterken en ervaring op te doen.
<br><br>
<h2>Leer hoe je recordkoppeling kunt gebruiken tijdens het opschonen van gegevens </h2>
Record Linkage wordt gebruikt om datasets samen te voegen als er problemen zijn met de waarden, zoals typefouten of verschillende spellingen. In het laatste hoofdstuk ga je deze handige techniek bekijken en oefenen hoe je het kunt gebruiken om twee datasets met restaurantrecensies samen te voegen tot één dataset.

Joining Data with dplyr

Leer gegevens snel en nauwkeurig te reinigen om uw bedrijf van ruwe data naar geweldige inzichten te brengen.

Data opschonen in R

Leer hoe je data zo snel en nauwkeurig mogelijk kunt opschonen, zodat je van ruwe data naar geweldige inzichten kunt gaan.

Associate Data Scientist in R

Gegevens importeren en opschonen  in R

Vergelijk afzonderlijke kolommen van elk paar.

Scoor paren door te sommeren of met waarschijnlijkheid.

Selecteer paren die overeenkomen op basis van hun score.

Eerst scoren en dan selecteren, of eerst selecteren en dan scoren?

Data opschonen in R

Praktische interactieve oefening