In dit hoofdstuk leer je hoe je enkele van de meest voorkomende problemen met rommelige data aanpakt. Je zet datatypes om, past bereikbeperkingen toe om toekomstige datapunten te verwijderen en haalt dubbele datapunten weg om dubbel tellen te voorkomen.

Beperkingen op gegevenstypen

Veelvoorkomende gegevenstypen

Gegevenstypen omzetten

Strings bijsnijden

Bereikbeperkingen

Beperkingen voor ritduur

Terug naar de toekomst

Uniciteitsbeperkingen

Volledige duplicaten

Gedeeltelijke duplicaten verwijderen

Gedeeltelijke duplicaten aggregeren

Veelvoorkomende dataproblemen

Categorische en tekstuele data zijn vaak de rommeligste onderdelen van een gegevensset door hun ongestructureerde aard. In dit hoofdstuk leer je hoe je witruimte en inconsistent hoofdlettergebruik in categorielabels corrigeert, meerdere categorieën samenvoegt en strings herformatteert voor consistentie.

Lidmaatschap controleren

Alleen voor leden

Geen lid

Problemen met categorische data

Inconsistenties herkennen

Inconsistenties corrigeren

Categorieën samenvoegen

Tekstgegevens opschonen

Inconsistente tekstgegevens opsporen

Vervangen en verwijderen

Ongeldige telefoonnummers

Categorische en tekstuele data

In dit hoofdstuk ga je aan de slag met meer geavanceerde opschoningsproblemen, zoals ervoor zorgen dat gewichten allemaal in kilogram worden genoteerd in plaats van in pounds. Je ontwikkelt ook waardevolle vaardigheden om te controleren of waarden correct zijn ingevoerd en of ontbrekende waarden je analyses niet negatief beïnvloeden.

Uniformiteit

Uniformiteit van datums

Valuta-uniformiteit

Validatie over velden

Totalen valideren

Leeftijd valideren

Volledigheid

Opties

Missing completely at random

Missing at random

Missing not at random

Soorten ontbrekendheid

Ontbrekende data visualiseren

Omgaan met missende data

Geavanceerde dataproblemen

Record linkage is een krachtige techniek om meerdere gegevenssets samen te voegen, gebruikt wanneer waarden typfouten of verschillende spellingen hebben. In dit hoofdstuk leer je records koppelen door de gelijkenis tussen strings te berekenen—daarna gebruik je je nieuwe vaardigheden om twee gegevenssets met restaurantreviews samen te voegen tot één schone mastergegevensset.

Strings vergelijken

Afstand berekenen

Kleine afstand, klein verschil

Typfouten oplossen met stringafstand

Paren genereren en vergelijken

Koppelen of joinen?

Pair blocking

Paren vergelijken

Scoren en koppelen

Eerst scoren en dan selecteren, of eerst selecteren en dan scoren?

Alles samenbrengen

Gefeliciteerd!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Pak veelvoorkomende dataproblemen aan, zoals het verwijderen van duplicaten in R</h2>
Er wordt vaak gezegd dat data scientists 80% van hun tijd besteden aan het opschonen en bewerken van data, en slechts 20% aan de analyse. Die tijd is cruciaal, want het analyseren van rommelige data kan tot onjuiste conclusies leiden.
<br><br>
In deze cursus leer je verschillende technieken om rommelige data met R op te schonen. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbel tellen te voorkomen.
<br><br>
<h2>Verdiep je in geavanceerde data-uitdagingen</h2>
Nadat je hebt geoefend met veelvoorkomende dataproblemen, ga je verder met meer geavanceerde uitdagingen, zoals het zorgen voor consistente meeteenheden en het omgaan met ontbrekende data. Na elk nieuw concept kun je een hands-on oefening maken om je kennis te verankeren en ervaring op te bouwen.
<br><br>
<h2>Leer Record Linkage gebruiken tijdens het opschonen</h2>
Record Linkage wordt gebruikt om gegevenssets te combineren wanneer waarden problemen hebben, zoals typfouten of verschillende spellingen. Je verkent deze handige techniek in het laatste hoofdstuk en oefent met het samenvoegen van twee gegevenssets met restaurantreviews tot één gegevensset.

<h2>Overwin veelvoorkomende gegevensproblemen, zoals het verwijderen van dubbele gegevens in R </h2>
Er wordt vaak gezegd dat datawetenschappers 80% van hun tijd besteden aan het opschonen en bewerken van data en maar 20% aan het analyseren ervan. De tijd die je besteedt aan het opschonen is superbelangrijk, want als je rommelige data analyseert, kun je verkeerde conclusies trekken.
<br><br>
In deze cursus leer je allerlei technieken om vieze data op te schonen met R. Je begint met het omzetten van datatypes, het toepassen van bereikbeperkingen en het omgaan met volledige en gedeeltelijke duplicaten om dubbeltellingen te voorkomen.
<br><br>
<h2>Duik in geavanceerde uitdagingen op het gebied van data </h2>
Als je eenmaal hebt geoefend met veelvoorkomende gegevensproblemen, ga je verder met moeilijkere uitdagingen, zoals zorgen dat metingen consistent zijn en omgaan met ontbrekende gegevens. Na elk nieuw concept krijg je de kans om een praktische oefening te doen om je kennis te versterken en ervaring op te doen.
<br><br>
<h2>Leer hoe je recordkoppeling kunt gebruiken tijdens het opschonen van gegevens </h2>
Record Linkage wordt gebruikt om datasets samen te voegen als er problemen zijn met de waarden, zoals typefouten of verschillende spellingen. In het laatste hoofdstuk ga je deze handige techniek bekijken en oefenen hoe je het kunt gebruiken om twee datasets met restaurantrecensies samen te voegen tot één dataset.

Joining Data with dplyr

Leer gegevens snel en nauwkeurig te reinigen om uw bedrijf van ruwe data naar geweldige inzichten te brengen.

Data opschonen in R

Leer hoe je data zo snel en nauwkeurig mogelijk kunt opschonen, zodat je van ruwe data naar geweldige inzichten kunt gaan.

Associate Data Scientist in R

Gegevens importeren en opschonen  in R

Vragenlijsten zijn willekeurig kwijtgeraakt in de post.

Toetsscores ontbreken voor leerlingen uit een bepaald schooldistrict, maar niet voor de andere districten.

Jongere mensen lieten minder vaak hun bloeddruk meten bij de arts, waardoor in hun medische dossiers bloeddrukgegevens ontbraken.

Een weegschaal heeft een limiet van 30 lbs, dus zendingen boven 30 lbs hebben geen geregistreerd gewicht.

Bloedmonsters die tijdens de nachtdienst zijn getest, raakten vaker verontreinigd, wat leidde tot ontbrekende testresultaten, maar het testtijdstip werd niet geregistreerd.

Soorten ontbrekendheid

Data opschonen in R

Interactieve oefening met praktijkervaring