抢先了解 GX
创建 Data Context 做得很好!这是迈入 Great Expectations 世界的关键第一步。现在先来抢先看看,等到课程结束时,您将能够完成哪些很棒的操作。
右侧的代码使用 Data Context 创建了一个 pandas Data Source 和 Data Asset,用于定义数据的格式。接着,它创建了一个 Batch Definition 来读取数据。最后,它创建了一个 Expectation Suite(其中包含一个 Expectation),以及一个 Validation Definition,用来针对这批数据运行该 Expectation Suite。现在不理解这些术语也没关系——到课程结束时,您就会完全明白了!
Great Expectations 已为您导入为 gx。
本练习是课程的一部分
使用 Great Expectations 的数据质量入门
练习说明
- 按下
Run Code查看代码输出。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)