Zajrzyjmy w głąb GX
Świetna robota z utworzeniem Data Context! To potężny pierwszy krok w świat Great Expectations. Zajrzyjmy teraz za kulisy i zobaczmy, co będziesz potrafić zrobić po ukończeniu kursu.
Kod po prawej stronie używa Data Context do utworzenia Data Source i Data Asset dla pandas – definiują one format danych. Następnie tworzona jest Batch Definition, która wczytuje dane. Na koniec powstaje Expectation Suite zawierający Expectation oraz Validation Definition, który uruchamia Expectation Suite na partii danych. Nie przejmuj się, jeśli te pojęcia są jeszcze niejasne – wszystko stanie się zrozumiałe pod koniec kursu!
Great Expectations zostało już zaimportowane jako gx.
To ćwiczenie jest częścią kursu
Wprowadzenie do jakości danych z Great Expectations
Instrukcje do ćwiczenia
- Naciśnij
Uruchom kod, aby zobaczyć wynik działania kodu.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)