In this chapter, you'll learn how to overcome some of the most common dirty data problems. You'll convert data types, apply range constraints to remove future data points, and remove duplicated data points to avoid double-counting.

Data type constraints

Common data types

Numeric data or ... ?

Summing strings and concatenating numbers

Data range constraints

Tire size constraints

Back to the future

Uniqueness constraints

How big is your subset?

Finding duplicates

Treating duplicates

Common data problems

Categorical and text data can often be some of the messiest parts of a dataset due to their unstructured nature. In this chapter, you’ll learn how to fix whitespace and capitalization inconsistencies in category labels, collapse multiple categories into one, and reformat strings for consistency.

Einschränkung des Wertebereichs

Optionen

Andere Beschränkung

Nur für Mitglieder

(In-)Konsistenzen ermitteln

Kategoriale Variablen

Leerzeichen und Inkonsistenzen

Erstellung oder Neuzuordnung von Kategorien

Fehlerkategorien

Inkonsistente Kategorien

Kategorien neu zuordnen

Bereinigen von Textdaten

Titel entfernen und Namen erfassen

Beschreibend bleiben

Text and categorical data problems

In this chapter, you'll dive into more advanced data cleaning problems, such as ensuring that weights are all written in kilograms instead of pounds. You'll also gain invaluable skills that will help you verify that values have been added correctly, and that missing values don't negatively impact your analyses.

Uniformity

Ambiguous dates

Uniform currencies

Uniform dates

Cross field validation

Cross field or no cross field?

How's our data integrity?

Completeness

Is this missing at random?

Missing investors

Follow the money

Advanced data problems

Record linkage is a powerful technique used to merge multiple datasets together, used when values have typos or different spellings. In this chapter, you'll learn how to link records by calculating the similarity between strings—you'll then use your new skills to join two restaurant review datasets into one clean master dataset.

Comparing strings

Minimum edit distance

The cutoff point

Remapping categories II

Generating pairs

To link or not to link?

Pairs of restaurants

Similar restaurants

Linking DataFrames

Getting the right index

Linking them together!

Congratulations!

Record linkage

Ride sharing dataset

Airlines dataset

Banking dataset

Restaurants dataset

Restaurants dataset II

Course Glossary

Es wird geschätzt, dass Data Scientists 80 % ihrer Zeit mit dem Bereinigen und Bearbeiten von Daten verbringen und nur 20 % ihrer Zeit mit der Analyse. Die Zeit, die du für die Bereinigung aufbringst, ist sehr wichtig, denn die Analyse verschmutzter Daten kann dich zu falschen Schlussfolgerungen verleiten.

Die Live-Transkripte der Videos kannst du durch einen Klick auf „Mitschrift anzeigen“ unten links in den Videos aufrufen.
Das Kursglossar findest du rechts im Bereich Ressourcen.
Um CPE-Credits zu erhalten, musst du den Kurs abschließen und in dem Test 70 % erreichen.  Du gelangst zum Test, indem du rechts auf die Angabe zu den CPE-Credits klickst.

Die Datenbereinigung ist eine wichtige Data-Science-Aufgabe. Ohne korrekt bereinigte Daten könnten die Ergebnisse einer Datenanalyse oder eines ML-Modells ungenau sein. In diesem Kurs lernst du, wie du verschiedene Probleme bei der Datenbereinigung in Python identifizieren, diagnostizieren und behandeln kannst, von einfach bis fortgeschritten. Du wirst mit falschen Datentypen umgehen, überprüfen, ob deine Daten im richtigen Wertebereich liegen, mit fehlenden Daten umgehen, Datensatzverknüpfungen durchführen und vieles mehr!

<h2>Entdecke, wie man Daten in Python bereinigt</h2>
Man sagt, dass Datenwissenschaftler/innen 80 % ihrer Zeit mit dem Bereinigen und Bearbeiten von Daten verbringen und nur 20 % ihrer Zeit mit der Analyse. Die Datenbereinigung ist ein wichtiger Schritt für jeden Datenwissenschaftler, da die Analyse von verschmutzten Daten zu ungenauen Schlussfolgerungen führen kann. 
<br><br>
In diesem Kurs lernst du, wie du verschiedene Probleme bei der Datenbereinigung in Python erkennen, diagnostizieren und behandeln kannst, von einfach bis fortgeschritten. Du wirst mit falschen Datentypen umgehen, überprüfen, ob deine Daten im richtigen Bereich liegen, mit fehlenden Daten umgehen, Datensatzverknüpfungen durchführen und vieles mehr!
<br><br>
<h2>Lernen, wie man verschiedene Datentypen bereinigt</h2>
Im ersten Kapitel des Kurses geht es um häufige Datenprobleme und wie du sie beheben kannst. Du wirst zunächst die grundlegenden Datentypen verstehen und wissen, wie du mit ihnen einzeln umgehen kannst. Danach wendest du Bereichsbeschränkungen an und entfernst doppelte Datenpunkte.
<br><br>
Das letzte Kapitel befasst sich mit der Datensatzverknüpfung, einem leistungsstarken Werkzeug zum Zusammenführen mehrerer Datensätze. Du lernst, wie du Datensätze miteinander verknüpfst, indem du die Ähnlichkeit zwischen Zeichenketten berechnest. Zum Schluss wendest du deine neuen Kenntnisse an, um zwei Restaurantkritiken zu einem sauberen Masterdatensatz zu verbinden.
<br><br>
<h2>Gewinnen Sie Vertrauen in die Datenbereinigung</h2>
Am Ende des Kurses bist du in der Lage, verschiedene Datentypen zu bereinigen und Datensätze miteinander zu verknüpfen, um mehrere Datensätze zusammenzuführen. Das Bereinigen von Daten ist eine wichtige Fähigkeit für Datenwissenschaftler. Wenn du mehr über das Bereinigen von Daten in Python und seine Anwendungen erfahren möchtest, schau dir die folgenden Lernpfade an: Data Scientist with Python und Importing &amp; Cleaning Data with Python.

Python Toolbox

Joining Data with pandas

Meistere die Datenbereinigung in Python in diesem vierstündigen Kurs.

Datenbereinigung in Python

Erwirb die nötigen Fähigkeiten, um fehlerhafte Daten zu bereinigen und Rohdaten in wertvolle Erkenntnisse zu verwandeln. 

Associate Data Scientist  in Python

Dateningenieur in Python

Datenimport/-bereinigung  in Python

Eine Spalte namens „schulnoten“, die eine Note 7 enthält.

Eine Spalte namens „wochentag“ mit dem Wert „Sonnmontag“.

Eine Spalte namens „geburtsdatum“ mit Werten in der Zukunft.

Eine Spalte namens `age` mit Werten über `130`.

Eine Spalte namens `revenue`, die als Zeichenkette dargestellt wird.

Nur für Mitglieder

Interaktive praktische Übung