In diesem Kapitel lernst du, einige der häufigsten Probleme mit unsauberen Daten zu beheben. Du konvertierst Datentypen, wendest Wertebereichsgrenzen an, um zukünftige Datenpunkte zu entfernen, und entfernst doppelte Datenpunkte, um Doppelzählungen zu vermeiden.

Datentyp-Beschränkungen

Häufige Datentypen

Datentypen konvertieren

Strings trimmen

Bereichsbedingungen

Beschränkungen für die Fahrtdauer

Zurück in die Zukunft

Eindeutigkeitsbeschränkungen

Vollständige Duplikate

Teilweise Duplikate entfernen

Partielle Duplikate aggregieren

Häufige Datenprobleme

Kategorische und Textdaten gehören durch ihre unstrukturierte Natur oft zu den unordentlichsten Teilen eines Datensatzes. In diesem Kapitel behebst du Inkonsistenzen bei Leerzeichen und Groß-/Kleinschreibung in Kategorienamen, fasst mehrere Kategorien zusammen und formatierst Strings einheitlich um.

Mitgliedschaft prüfen

Nur für Mitglieder

Kein Mitglied

Probleme mit kategorialen Daten

Inkonsistenzen erkennen

Inkonsistenzen korrigieren

Kategorien zusammenfassen

Textdaten bereinigen

Inkonsistente Textdaten erkennen

Ersetzen und Entfernen

Ungültige Telefonnummern

Kategorische und Textdaten

In diesem Kapitel widmest du dich fortgeschritteneren Problemen der Datenbereinigung, zum Beispiel sicherzustellen, dass Gewichte einheitlich in Kilogramm statt in Pfund angegeben sind. Außerdem erwirbst du wichtige Fähigkeiten, mit denen du prüfen kannst, ob Werte korrekt erfasst wurden und fehlende Werte deine Analysen nicht negativ beeinflussen.

Einheitlichkeit

Einheitlichkeit von Datumsangaben

Einheitliche Währung

Validierung über Felder hinweg

Summen validieren

Alter validieren

Vollständigkeit

Optionen

Missing completely at random

Missing at random

Missing not at random

Arten von Fehlwerten

Fehlende Daten visualisieren

Umgang mit fehlenden Daten

Fortgeschrittene Datenprobleme

Record Linkage ist eine leistungsstarke Technik zum Zusammenführen mehrerer Datensätze, wenn Werte Tippfehler oder unterschiedliche Schreibweisen aufweisen. In diesem Kapitel lernst du, Datensätze zu verknüpfen, indem du die Ähnlichkeit zwischen Strings berechnest — anschließend nutzt du deine neuen Fähigkeiten, um zwei Datensätze mit Restaurantbewertungen zu einem sauberen, zusammengeführten Master-Datensatz zu verbinden.

Zeichenketten vergleichen

Distanz berechnen

Kleine Distanz, kleiner Unterschied

Tippfehler mit String-Distanz korrigieren

Paare erzeugen und vergleichen

Linken oder joinen?

Pair-Blocking

Paare vergleichen

Bewerten und verknüpfen

Erst bewerten, dann auswählen – oder erst auswählen, dann bewerten?

Alles zusammenführen

Glückwunsch!

Record Linkage

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Häufige Datenprobleme lösen – zum Beispiel Duplikate in R entfernen</h2>
Man sagt oft, dass Data Scientists 80 % ihrer Zeit mit dem Bereinigen und Aufbereiten von Daten verbringen und nur 20 % mit der Analyse. Diese Zeit ist entscheidend, denn die Analyse unsauberer Daten kann zu falschen Schlussfolgerungen führen.
<br><br>
In diesem Kurs lernst du verschiedene Techniken kennen, mit denen du mit R fehlerhafte Daten bereinigst. Du beginnst damit, Datentypen zu konvertieren, Wertebereiche festzulegen und mit vollständigen sowie partiellen Duplikaten umzugehen, um Doppelzählungen zu vermeiden.
<br><br>
<h2>Vertiefe dich in fortgeschrittene Datenherausforderungen</h2>
Nachdem du mit gängigen Datenproblemen geübt hast, widmest du dich anspruchsvolleren Aufgaben wie der Sicherstellung einheitlicher Maßeinheiten und dem Umgang mit fehlenden Werten. Nach jedem neuen Konzept kannst du eine praktische Übung absolvieren, um dein Wissen zu festigen und Erfahrung zu sammeln.
<br><br>
<h2>Record Linkage in der Datenbereinigung einsetzen</h2>
Record Linkage wird verwendet, um Datensätze zusammenzuführen, wenn Werte Tippfehler oder unterschiedliche Schreibweisen enthalten. Diese nützliche Technik lernst du im letzten Kapitel kennen und wendest sie an, um zwei Datensätze mit Restaurantbewertungen zu einem einzigen Datensatz zusammenzuführen.

<h2>Überwinde häufige Datenprobleme wie das Entfernen von Duplikaten in R </h2>
Man sagt, dass Datenwissenschaftler/innen 80 % ihrer Zeit mit dem Bereinigen und Bearbeiten von Daten verbringen und nur 20 % ihrer Zeit mit der Analyse. Die Zeit, die du für die Bereinigung aufbringst, ist sehr wichtig, denn die Analyse verschmutzter Daten kann dich zu falschen Schlussfolgerungen verleiten.
<br><br>
In diesem Kurs lernst du eine Reihe von Techniken kennen, mit denen du schmutzige Daten mit R bereinigen kannst. Du beginnst mit der Konvertierung von Datentypen, der Anwendung von Bereichseinschränkungen und dem Umgang mit vollständigen und teilweisen Duplikaten, um Doppelzählungen zu vermeiden.
<br><br>
<h2>Sich mit fortgeschrittenen Datenherausforderungen befassen </h2>
Wenn du dich mit den üblichen Datenproblemen vertraut gemacht hast, kannst du dich fortgeschritteneren Herausforderungen zuwenden, wie z.B. der Sicherstellung der Konsistenz von Messungen und dem Umgang mit fehlenden Daten. Nach jedem neuen Konzept hast du die Möglichkeit, eine praktische Übung zu absolvieren, um dein Wissen zu festigen und deine Erfahrung zu erweitern.
<br><br>
<h2>Lerne die Datensatzverknüpfung bei der Datenbereinigung zu nutzen </h2>
Die Datensatzverknüpfung wird verwendet, um Datensätze zusammenzuführen, wenn die Werte Probleme wie Tippfehler oder unterschiedliche Schreibweisen aufweisen. Im letzten Kapitel lernst du diese nützliche Technik kennen und übst ihre Anwendung, indem du zwei Datensätze von Restaurantbewertungen zu einem einzigen Datensatz zusammenfügst.

Joining Data with dplyr

Lernen Sie, Daten schnell und genau zu bereinigen, um Ihr Unternehmen zu großartigen Erkenntnissen zu führen.

Datenbereinigung in R

In diesem Kurs lernst du, Daten effizient und akkurat zu bereinigen, um Rohdaten in gewinnbringende Erkenntnisse zu verwandeln.

Associate Data Scientist in R

Datenimport/-bereinigung  in R

Fragebögen gingen zufällig auf dem Postweg verloren.

Testergebnisse fehlen für Schüler aus einem bestimmten Schulbezirk, aber nicht aus anderen.

Jüngere Personen ließen beim Arzt seltener den Blutdruck messen, daher fehlen in ihren Krankenakten Blutdruckdaten.

Eine Waage hat eine Grenze von 30 lbs, daher wurde für Sendungen über 30 lbs kein Gewicht erfasst.

Während der Nachtschicht getestete Blutproben wurden häufiger kontaminiert, was zu fehlenden Testergebnissen führte, aber der Testzeitpunkt wurde nicht erfasst.

Arten von Fehlwerten

Datenbereinigung in R

Interaktive Übung