Verstehe, warum Great Expectations (GX) ein so leistungsstarkes Tool zur Überwachung der Datenqualität ist. Mach dich mit den Grundlagen von GX vertraut – einschließlich dem Starten einer Session mit einem Data Context und dem Laden eines pandas-Dataframes mithilfe von Data Source, Data Asset und Batch Definition.

Erzeuge einen Data Context

Erstelle deinen Data Context

Sneak Peek in GX

Begriffsdefinitionen

Mit Daten verbinden

Begriffe wiederholen

Erstelle eine Data Source und ein Data Asset

Daten in Batches einlesen

Erstelle eine Batch Definition und eine Batch

Untersuche deinen Batch

Verbindung zu Daten herstellen

Erstelle und bewerte grundlegende Shape- und Schema-Expectations. Validiere deine Expectations einzeln, als Teil einer Expectation Suite mit einer Batch Definition oder mithilfe einer Validation Definition.

Expectations erstellen

Erstelle eine Spaltenanzahl-Expectation

Validierungsergebnisse auswerten

Schema-Expectations

Lege eine Expectation für einen Spaltennamen fest

Lege eine Expectation für einen Spaltenbereich fest

Eine Suite von Expectations erstellen

Erstelle eine Expectation Suite

Validiere deine Expectation Suite

Expectation Suites validieren

Erstelle und führe eine Validation Definition aus

Validation Definition vs. Batch Definition

Expectations festlegen

Lerne praxisnahe Skills, mit denen du die dynamische Natur von Expectations in der realen Welt meisterst. Setze Validation Definitions per Checkpoints ein, aktualisiere deine Expectation Suites und erfahre, wie du wichtige GX-Komponenten hinzufügst, abrufst, auflistest und löschst.

Validierungsdefinitionen bereitstellen

Options

Checkpoint

Action

Data Docs

Concept Check

Erstelle einen Checkpoint

Expectation Suites aktualisieren

Eine Expectation kopieren

Eine Expectation löschen

Eine Expectation aktualisieren

Komponenten verwalten

Komponenten hinzufügen und auflisten

Einen Checkpoint verwalten

GX in der Praxis

Tauche direkt ein in die Welt der Expectations. Übe das Erstellen grundlegender Spalten-Expectations, numerischer Expectations auf Zeilen- und Aggregationsebene, String- und String-Parseability-Expectations und mehr. Lerne, wie du Expectations nur auf bestimmte Zeilen eines Dataframes anwendest.

Grundlegende Spalten-Expectations

Erstelle Row-Level-Expectations

Aggregatbezogene Expectations festlegen

Typbezogene Expectations

Numerische Expectations festlegen

String-Expectations festlegen

Bedingte Expectations

Formuliere eine Conditional Expectation

Eine bedingte Expectation invertieren

Abschluss

Alles rund um Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations ist eine leistungsstarke Python-Bibliothek zur Überwachung der Datenqualität in Data-Science- und Engineering-Workflows. Lerne, reale Datensätze zu verbinden, Expectations anzuwenden, zu bearbeiten und zu löschen und Pipelines zu erstellen, um neue Datensätze in der Produktion zu validieren. Du erkundest Expectations für numerische und String-Spalten und schreibst Validierungen über Spalten hinweg. Am Ende sorgst du souverän dafür, dass deine Daten Qualitätsstandards erfüllen.

Great Expectations ist ein echt starkes Tool, um die Datenqualität in Data-Science- und Data-Engineering-Workflows im Auge zu behalten. Die Plattform lässt sich einfach in Python einbauen, was sie zu einer nützlichen Bibliothek für Python-Nutzer macht, die sie sich aneignen sollten.

Im Mittelpunkt von Great Expectations stehen Erwartungen oder Aussagen, die du anhand deiner Daten überprüfen möchtest. Du startest diesen Kurs damit, dass du lernst, wie du dich mit echten Datensätzen verbindest und Erwartungen auf sie anwendest. Du lernst dann, wie du Erwartungen abrufst, bearbeitest und löschst und Pipelines erstellst, um Erwartungen auf neue Datensätze in einer Produktionsumgebung anzuwenden.

Zum Schluss lernst du noch bestimmte Arten von Erwartungen kennen, zum Beispiel für Zahlen- und Zeichenfolgen-Spalten, und wie man Erwartungen für eine Spalte schreibt, die von den Werten anderer Spalten abhängen.

Am Ende dieses Kurses wirst du die Python-Bibliothek „Great Expectations“ richtig gut beherrschen. Du kannst die Kernfunktionen der Plattform nutzen, um die Qualität deiner Daten zu checken, und du kannst deine Daten mit der Gewissheit verwenden, dass sie deinen Datenqualitätsstandards entsprechen.

Data Manipulation with pandas

Sichere hohe Datenqualität in Data-Science- und -Engineering-Workflows mit Pythons Great Expectations.

Einführung in Data Quality mit Great Expectations

Mit der Python-Bibliothek „Great Expectations“ kannst du in Data-Science- und Data-Engineering-Workflows für hohe Datenqualität sorgen.

Ingenieur für maschinelles Lernen

Ein Objekt, das Validation Definitions gruppiert und sie mit gemeinsamen Parametern ausführt

Eine Komponente, die auf Checkpoints konfigurierbar ist und Great Expectations basierend auf einem Validation Result mit anderen Tools integriert

Statische Website, die aus Great-Expectations-Metadaten generiert wird und Expectations, Validation Results usw. beschreibt

Concept Check

Einführung in Data Quality mit Great Expectations

Interaktive Übung