Anteprima di GX
Ottimo lavoro nel creare il tuo Data Context! Questo è il primo passo, molto potente, nel mondo di Great Expectations. Diamo un’occhiata in anteprima a tutte le cose interessanti che saprai fare entro la fine del corso.
Il codice a destra usa il Data Context per creare una Data Source e un Data Asset di pandas, che definiscono il formato dei dati. Poi crea una Batch Definition per leggere i dati. Infine, crea una Expectation Suite, che contiene una Expectation, e una Validation Definition, che esegue la Expectation Suite sul Batch di dati. Non preoccuparti se ora questi termini non ti sono familiari: tutto sarà chiaro entro la fine del corso!
Great Expectations è già stato importato per te come gx.
Questo esercizio fa parte del corso
Introduzione alla Data Quality con Great Expectations
Istruzioni dell'esercizio
- Premi
Esegui codiceper vedere l'output del codice.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Create Data Context
context = gx.get_context()
# Create pandas Data Source, Data Asset, and Batch Definition
data_source = context.data_sources.add_pandas(
name="my_pandas_datasource"
)
data_asset = data_source.add_dataframe_asset(
name="my_data_asset"
)
batch_definition = data_asset.add_batch_definition_whole_dataframe(
name="my_batch_definition"
)
batch = batch_definition.get_batch(
batch_parameters={"dataframe": dataframe}
)
# Create Expectation Suite and Validation Definition
suite = context.suites.add(
gx.ExpectationSuite(name="my_suite", suite_parameters={})
)
validation_definition = gx.ValidationDefinition(
data=batch_definition, suite=suite, name="validation"
)
# Establish and evaluate an Expectation
expectation = gx.expectations.ExpectTableRowCountToBeBetween(
min_value=50000, max_value=100000
)
validation_results = batch.validate(expect=expectation)
print(validation_results.success)