GX をちょっと覗いてみましょう
Data Context の作成、お見事です!これは Great Expectations の世界へ踏み出す強力な第一歩です。コースの最後にはどんなことができるようになるのか、少し先取りして見てみましょう。
右側のコードでは、Data Context を使って pandas の Data Source と Data Asset を作成し、データの形式を定義しています。次に、データを読み込むための Batch Definition を作成します。最後に、Expectation を含む Expectation Suite と、その Expectation Suite をデータの Batch に対して実行する Validation Definition を作成します。いまはこれらの用語がわからなくても心配いりません—コースの終わりにはすべて理解できるようになります!
Great Expectations はすでに gx としてインポートされています。
この演習はコースの一部です
Great Expectationsで始めるデータ品質入門
演習の手順
Run Codeを押して、コードの出力を確認してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)