搶先一窺 GX
做得好!你已經建立了自己的 Data Context。這是踏入 Great Expectations 世界的關鍵第一步。現在先搶先一瞧,在課程結束前你將能做到哪些很實用的事情。
右側的程式碼使用 Data Context 來建立 pandas 的 Data Source 與 Data Asset,用來定義資料的格式。接著,它建立一個 Batch Definition 來讀入資料。最後,它建立一個 Expectation Suite(包含一個 Expectation),以及一個 Validation Definition,會把這個 Expectation Suite 套用到該批次(Batch)的資料上。現在還不懂這些名詞也沒關係——在課程結束時一切都會變得清楚!
Great Expectations 已替你匯入為 gx。
本練習屬於課程
Great Expectations 資料品質入門
練習說明
- 按下
Run Code來查看程式碼的輸出。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)