In diesem Kapitel erfährst du, wie du einige der häufigsten Probleme mit schmutzigen Daten lösen kannst. Du konvertierst Datentypen, wendest Bereichsbeschränkungen an, um zukünftige Datenpunkte zu entfernen, und entfernst doppelte Datenpunkte, um Doppelzählungen zu vermeiden.

Datentyp-Beschränkungen

Gemeinsame Datentypen

Datentypen umwandeln

Schnüre trimmen

Bereichseinschränkungen

Einschränkungen bei der Fahrtdauer

Zurück in die Zukunft

Einzigartigkeitsbeschränkungen

Vollständige Duplikate

Entfernen von teilweisen Duplikaten

Teilweise Duplikate zusammenfassen

Häufige Datenprobleme

Kategoriale und Textdaten gehören oft zu den unübersichtlichsten Teilen eines Datensatzes, weil sie unstrukturiert sind. In diesem Kapitel erfährst du, wie du Unstimmigkeiten bei Leerzeichen und Großschreibung in Kategoriebeschriftungen behebst, mehrere Kategorien zu einer zusammenfasst und Zeichenketten neu formatierst, um die Konsistenz zu gewährleisten.

Überprüfung der Mitgliedschaft

Nur für Mitglieder

Kein Mitglied

Probleme mit kategorischen Daten

Erkennen von Unstimmigkeiten

Korrektur von Unstimmigkeiten

Zusammenfallende Kategorien

Textdaten bereinigen

Erkennen von inkonsistenten Textdaten

Auswechseln und Entfernen

Ungültige Telefonnummern

Kategoriale und Textdaten

In diesem Kapitel beschäftigst du dich mit fortgeschrittenen Datenbereinigungsproblemen, z. B. mit der Sicherstellung, dass alle Gewichte in Kilogramm statt in Pfund angegeben werden. Du erwirbst außerdem unschätzbare Fähigkeiten, mit denen du überprüfen kannst, ob die Werte korrekt hinzugefügt wurden und ob fehlende Werte deine Analysen nicht negativ beeinflussen.

Einheitlichkeit

Datum Einheitlichkeit

Einheitlichkeit der Währung

Feldübergreifende Validierung

Summen validieren

Alter validieren

Vollständigkeit

Optionen

Völlig willkürlich fehlend

Zufälliges Fehlen

Fehlt nicht zufällig

Arten von Vermissen

Visualisierung fehlender Daten

Umgang mit fehlenden Daten

Erweiterte Datenprobleme

Die Datensatzverknüpfung ist eine leistungsstarke Technik, mit der mehrere Datensätze zusammengeführt werden können, wenn die Werte Tippfehler oder unterschiedliche Schreibweisen aufweisen. In diesem Kapitel lernst du, wie du Datensätze miteinander verknüpfst, indem du die Ähnlichkeit zwischen Zeichenketten berechnest - und dann deine neuen Kenntnisse einsetzt, um zwei Restaurantbewertungsdatensätze zu einem einzigen, sauberen Masterdatensatz zu verbinden.

Zeichenketten vergleichen

Entfernung berechnen

Kleiner Abstand, kleiner Unterschied

Tippfehler mit String-Abstand korrigieren

Paare generieren und vergleichen

Verlinken oder mitmachen?

Blockieren von Paaren

Paare vergleichen

Punktevergabe und Verlinkung

Erst punkten, dann auswählen oder erst auswählen, dann punkten?

Zusammenstellen

Herzlichen Glückwunsch!

Datensatzverknüpfung

Zagat

Fodor's

Bike Sharing

SFO Satisfaction Survey

Customer Accounts

<h2>Überwinde häufige Datenprobleme wie das Entfernen von Duplikaten in R </h2>
Man sagt, dass Datenwissenschaftler/innen 80 % ihrer Zeit mit dem Bereinigen und Bearbeiten von Daten verbringen und nur 20 % ihrer Zeit mit der Analyse. Die Zeit, die du für die Bereinigung aufbringst, ist sehr wichtig, denn die Analyse verschmutzter Daten kann dich zu falschen Schlussfolgerungen verleiten.
<br><br>
In diesem Kurs lernst du eine Reihe von Techniken kennen, mit denen du schmutzige Daten mit R bereinigen kannst. Du beginnst mit der Konvertierung von Datentypen, der Anwendung von Bereichseinschränkungen und dem Umgang mit vollständigen und teilweisen Duplikaten, um Doppelzählungen zu vermeiden.
<br><br>
<h2>Sich mit fortgeschrittenen Datenherausforderungen befassen </h2>
Wenn du dich mit den üblichen Datenproblemen vertraut gemacht hast, kannst du dich fortgeschritteneren Herausforderungen zuwenden, wie z.B. der Sicherstellung der Konsistenz von Messungen und dem Umgang mit fehlenden Daten. Nach jedem neuen Konzept hast du die Möglichkeit, eine praktische Übung zu absolvieren, um dein Wissen zu festigen und deine Erfahrung zu erweitern.
<br><br>
<h2>Lerne die Datensatzverknüpfung bei der Datenbereinigung zu nutzen </h2>
Die Datensatzverknüpfung wird verwendet, um Datensätze zusammenzuführen, wenn die Werte Probleme wie Tippfehler oder unterschiedliche Schreibweisen aufweisen. Im letzten Kapitel lernst du diese nützliche Technik kennen und übst ihre Anwendung, indem du zwei Datensätze von Restaurantbewertungen zu einem einzigen Datensatz zusammenfügst.

Joining Data with dplyr

Lernen Sie, Daten schnell und genau zu bereinigen, um Ihr Unternehmen zu großartigen Erkenntnissen zu führen.

Daten in R bereinigen

Lerne, Daten so schnell und genau wie möglich zu bereinigen, damit du von Rohdaten zu fantastischen Erkenntnissen kommst.

Associate Data Scientist in R

Datenimport/-bereinigung  in R

Die Fragebögen gingen zufällig auf dem Postweg verloren.

Es fehlen Testergebnisse für Schüler aus einem bestimmten Schulbezirk, aber nicht für die anderen.

Jüngere Menschen ließen ihren Blutdruck seltener beim Arzt überprüfen, so dass in ihren Krankenakten Blutdruckdaten fehlten.

Eine Waage hat ein Limit von 30 lbs, also werden Sendungen über 30 lbs nicht erfasst.

Bei Blutproben, die während der Nachtschicht untersucht wurden, war die Wahrscheinlichkeit höher, dass sie verunreinigt waren, was zu fehlenden Testergebnissen führte, aber der Zeitpunkt der Untersuchung wurde nicht erfasst.

Arten von Vermissen

Daten in R bereinigen

Interaktive Übung