НачатьНачать бесплатно

Знакомство с GX

Отлично, Data Context создан! Это важный первый шаг в работе с Great Expectations. Давайте посмотрим, что вы сможете делать к концу курса.

Код справа использует Data Context для создания pandas Data Source и Data Asset, которые определяют формат данных. Затем создаётся Batch Definition для загрузки данных. После этого создаётся Expectation Suite с Expectation и Validation Definition, который запускает Expectation Suite на наборе данных (Batch). Не беспокойтесь, если эти термины пока непонятны — к концу курса всё станет ясно!

Great Expectations уже импортирован как gx.

Это упражнение является частью курса

Введение в качество данных с Great Expectations

Посмотреть курс

Инструкции к упражнению

  • Нажмите Запустить код, чтобы увидеть результат выполнения кода.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create Data Context
context = gx.get_context()

# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
  name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
  name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
  name="my_batch_definition"
)
batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

# Create Expectation Suite and Validation Definition
suite = context.suites.add(
  gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
  data=batch_definition, suite=suite, name="validation"
)

# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
  min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)
Редактировать и запускать код