Pochop, proč je Great Expectations (GX) tak výkonný nástroj pro sledování kvality dat. Seznámíš se se základy GX – jak spustit session pomocí Data Context a jak načíst pandas dataframe prostřednictvím Data Source, Data Asset a Batch Definition.

Vytvoření Data Contextu

Vytvoř si vlastní Data Context

Ochutnávka GX

Definice pojmů

Připojení k datům

Opakování pojmů

Vytvoření Data Source a Data Asset

Čtení dat po dávkách

Vytvoření Batch Definition a Batch

Prozkoumej svůj Batch

Vytvárej a vyhodnocuj základní Expectations pro tvar a schéma dat. Expectations můžeš validovat jednotlivě, jako součást Expectation Suite s Batch Definition, nebo pomocí Validation Definition.

Create Expectations

Vytvoř Expectation pro počet sloupců

Vyhodnocení výsledků validace

Schéma Expectations

Vytvoř Expectation pro název sloupce

Vytvoření Expectation pro rozsah sloupců

Vytvoření sady Expectations

Vytvoř Expectation Suite

Ověření Expectation Suite

Ověření sad Expectations

Vytvoření a spuštění Validation Definition

Validation Definition vs. Batch Definition

Tvorba Expectations

Získej praktické dovednosti, které ti pomohou zvládnout dynamickou povahu Expectations v reálném světě. Nasaď Validation Definitions pomocí Checkpoints, aktualizuj své Expectation Suites a nauč se přidávat, načítat, vypisovat a mazat klíčové komponenty GX.

Nasazení Validation Definitions

Možnosti

Checkpoint

Action

Data Docs

Ověření znalostí

Vytvoření Checkpointu

Aktualizace sad očekávání

Kopírování Expectation

Odstranění Expectation

Aktualizace Expectation

Správa komponent

Přidávání a výpis komponent

Správa Checkpointu

GX v praxi

Ponořte se naplno do světa Expectations. Procvičíš tvorbu základních sloupcových Expectations, numerických Expectations na úrovni řádků i agregací, Expectations pro textové řetězce a jejich parsovatelnost a další. Naučíš se také aplikovat Expectations pouze na vybrané řádky dataframu.

Základní Expectations pro sloupce

Vytvoření Expectations na úrovni řádků

Vytváření agregovaných Expectations

Expectations pro konkrétní datové typy

Vytvoření numerických Expectations

Expectations pro řetězcové sloupce

Podmíněná očekávání

Vytvoř podmíněné Expectation

Invertování podmínkového Expectation

Závěrečné shrnutí

Svět Expectations

life_expectancy.csv

weather_new.csv

renewable_new.csv

shein_footwear_clean.csv

movie_dataset.csv

Great Expectations je výkonná knihovna Pythonu pro sledování kvality dat v procesech datové vědy a datového inženýrství. Naučíš se připojovat reálné datasety, vytvářet, upravovat a mazat Expectations a sestavovat pipeline pro validaci nových datasetů v produkci. Prozkoumáš Expectations pro numerické a textové sloupce a napíšeš validace napříč sloupci. Na konci kurzu budeš mít jistotu, že tvoje data splňují požadované standardy kvality.

Great Expectations je výkonný nástroj pro sledování kvality dat v pracovních postupech datové vědy a datového inženýrství. Platformu lze snadno integrovat do Pythonu, takže je to užitečná knihovna, kterou by uživatelé Pythonu měli zvládnout.

Jádrem Great Expectations jsou Expectations, tedy tvrzení, která si chcete ověřit o svých datech. Začnete tento kurz tím, že se naučíte, jak se připojit ke skutečným datovým sadám a jak na ně aplikovat Expectations. Poté se naučíte, jak načítat, upravovat a mazat Expectations a jak vytvářet pipeline pro aplikaci Expectations na nové datové sady v produkčním nasazení.

Nakonec se naučíte o konkrétních typech očekávání, například pro číselné a textové sloupce, a jak psát očekávání pro jeden sloupec podmíněná hodnotami jiných sloupců.

Na konci tohoto kurzu budete mít pevné základy v knihovně Great Expectations pro Python. Budete moci používat základní funkce platformy ke sledování kvality svých dat a budete moci svá data používat s jistotou, že splňují vaše standardy kvality dat.

Data Manipulation with pandas

Zajistěte vysokou kvalitu dat ve workflow datové vědy a inženýrství s knihovnou Great Expectations.

Úvod do kvality dat s Great Expectations

Zajistěte vysokou kvalitu dat v pracovních postupech data science a data engineering s knihovnou Great Expectations v Pythonu.

Inženýr strojového učení

Objekt, který sdružuje Validation Definitions a spouští je se společnými parametry

Komponenta konfigurovatelná na Checkpointech, která na základě Validation Result propojuje Great Expectations s dalšími nástroji

Statický web generovaný z metadat Great Expectations, který přehledně dokumentuje Expectations, Validation Results a další informace

Ověření znalostí

Úvod do kvality dat s Great Expectations

Interaktivní praktické cvičení