Ochutnávka GX
Skvělá práce s vytvořením Data Context! To je mocný první krok do světa Great Expectations. Pojďme se rovnou podívat, co všechno budeš umět na konci kurzu.
Kód vpravo používá Data Context k vytvoření pandas Data Source a Data Asset, které definují formát dat. Pak vytvoří Batch Definition pro načtení dat. Nakonec vytvoří Expectation Suite obsahující Expectation a Validation Definition, která spustí Expectation Suite nad dávkou dat. Nemusíš zatím rozumět všem těmto pojmům – vše bude jasné na konci kurzu!
Great Expectations už je importován jako gx.
Toto cvičení je součástí kurzu
Úvod do kvality dat s Great Expectations
Pokyny k cvičení
- Stiskni
Run Codea prohlédni si výstup kódu.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)