In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Converting data types

Trimming strings

Range constraints

Ride duration constraints

Back to the future

Uniqueness constraints

Full duplicates

Removing partial duplicates

Aggregating partial duplicates

Common Data Problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Checking membership

Members only

Not a member

Categorical data problems

Identifying inconsistency

Correcting inconsistency

Collapsing categories

Cleaning text data

Detecting inconsistent text data

Replacing and removing

Invalid phone numbers

Categorical and Text Data

In this chapter, you’ll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You’ll also gain invaluable skills that will help you verify that values have been added correctly and that missing values don’t negatively impact your analyses.

Uniformiteit

Uniformiteit van datums

Valuta-uniformiteit

Validatie over velden

Totalen valideren

Leeftijd valideren

Volledigheid

Opties

Missing completely at random

Missing at random

Missing not at random

Soorten ontbrekendheid

Ontbrekende data visualiseren

Omgaan met missende data

Advanced Data Problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you’ll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Calculating distance

Small distance, small difference

Fixing typos with string distance

Generating and comparing pairs

Link or join?

Pair blocking

Comparing pairs

Scoring and linking

Score then select or select then score?

Putting it together

Congratulations!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Pak veelvoorkomende dataproblemen aan, zoals het verwijderen van duplicaten in R</h2>
Er wordt vaak gezegd dat data scientists 80% van hun tijd besteden aan het opschonen en bewerken van data, en slechts 20% aan de analyse. Die tijd is cruciaal, want het analyseren van rommelige data kan tot onjuiste conclusies leiden.
<br><br>
In deze cursus leer je verschillende technieken om rommelige data met R op te schonen. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbel tellen te voorkomen.
<br><br>
<h2>Verdiep je in geavanceerde data-uitdagingen</h2>
Nadat je hebt geoefend met veelvoorkomende dataproblemen, ga je verder met meer geavanceerde uitdagingen, zoals het zorgen voor consistente meeteenheden en het omgaan met ontbrekende data. Na elk nieuw concept kun je een hands-on oefening maken om je kennis te verankeren en ervaring op te bouwen.
<br><br>
<h2>Leer Record Linkage gebruiken tijdens het opschonen</h2>
Record Linkage wordt gebruikt om gegevenssets te combineren wanneer waarden problemen hebben, zoals typfouten of verschillende spellingen. Je verkent deze handige techniek in het laatste hoofdstuk en oefent met het samenvoegen van twee gegevenssets met restaurantreviews tot één gegevensset.

<h2>Overwin veelvoorkomende gegevensproblemen, zoals het verwijderen van dubbele gegevens in R </h2>
Er wordt vaak gezegd dat datawetenschappers 80% van hun tijd besteden aan het opschonen en bewerken van data en maar 20% aan het analyseren ervan. De tijd die je besteedt aan het opschonen is superbelangrijk, want als je rommelige data analyseert, kun je verkeerde conclusies trekken.
<br><br>
In deze cursus leer je allerlei technieken om vieze data op te schonen met R. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbeltellingen te voorkomen.
<br><br>
<h2>Duik in geavanceerde uitdagingen op het gebied van data </h2>
Als je eenmaal hebt geoefend met veelvoorkomende gegevensproblemen, ga je verder met moeilijkere uitdagingen, zoals zorgen dat metingen consistent zijn en omgaan met ontbrekende gegevens. Na elk nieuw concept krijg je de kans om een praktische oefening te doen om je kennis te versterken en ervaring op te doen.
<br><br>
<h2>Leer hoe je recordkoppeling kunt gebruiken tijdens het opschonen van gegevens </h2>
Record Linkage wordt gebruikt om datasets samen te voegen als er problemen zijn met de waarden, zoals typefouten of verschillende spellingen. In het laatste hoofdstuk ga je deze handige techniek bekijken en oefenen hoe je het kunt gebruiken om twee datasets met restaurantrecensies samen te voegen tot één dataset.

Joining Data with dplyr

Leer gegevens snel en nauwkeurig te reinigen om uw bedrijf van ruwe data naar geweldige inzichten te brengen.

Data opschonen in R

Leer hoe je data zo snel en nauwkeurig mogelijk kunt opschonen, zodat je van ruwe data naar geweldige inzichten kunt gaan.

Associate Data Scientist in R

Gegevens importeren en opschonen  in R

Vragenlijsten zijn willekeurig kwijtgeraakt in de post.

Toetsscores ontbreken voor leerlingen uit een bepaald schooldistrict, maar niet voor de andere districten.

Jongere mensen lieten minder vaak hun bloeddruk meten bij de arts, waardoor in hun medische dossiers bloeddrukgegevens ontbraken.

Een weegschaal heeft een limiet van 30 lbs, dus zendingen boven 30 lbs hebben geen geregistreerd gewicht.

Bloedmonsters die tijdens de nachtdienst zijn getest, raakten vaker verontreinigd, wat leidde tot ontbrekende testresultaten, maar het testtijdstip werd niet geregistreerd.

Soorten ontbrekendheid

Data opschonen in R

Praktische interactieve oefening