Перший погляд на GX
Чудова робота зі створення вашого Data Context! Це потужний перший крок у світ Great Expectations. Давайте зазирнемо наперед і подивимось, що саме ви зможете робити до кінця курсу.
Код праворуч використовує Data Context, щоб створити джерело даних pandas (Data Source) і актив даних (Data Asset), які визначають формат даних. Потім він створює Batch Definition для зчитування даних. Насамкінець створюється Expectation Suite, що містить Expectation, та Validation Definition, який запускає Expectation Suite для пакета (Batch) даних. Не хвилюйтеся, якщо зараз ці терміни вам незнайомі — наприкінці курсу все стане зрозуміло!
Great Expectations уже імпортовано для вас як gx.
Ця вправа є частиною курсу
Вступ до контролю якості даних із Great Expectations
Інструкції до вправи
- Натисніть
Run Code, щоб побачити результат виконання коду.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)