Understand why Great Expectations (GX) is such a powerful tool for monitoring data quality. Get familiar with the basics of GX, including how to start a session using a Data Context, and how to load in a pandas dataframe using a Data Source, Data Asset, and Batch Definition. 

Create a Data Context

Create your Data Context

Sneak Peek into GX

Keyword Definitions

Connect to Data

Concept Review

Create a Data Source and Data Asset

Read Data in Batches

Create a Batch Definition and Batch

Inspect your Batch

Connecting to Data

Create and evaluate basic shape and schema Expectations. Validate your Expectations either individually, as part of an Expectation Suite with a Batch Definition, or using a Validation Definition.

Create Expectations

Establish a Column Count Expectation

Evaluate Validation Results

Schema Expectations

Establish a Column Name Expectation

Establish a Column Range Expectation

Create a Suite of Expectations

Create an Expectation Suite

Validate your Expectation Suite

Validate Expectation Suites

Create and Run a Validation Definition

Validation Definition vs. Batch Definition

Establishing Expectations

Learn practical skills that will help you dominate the dynamic nature of Expectations in the real world. Deploy Validation Definitions using Checkpoints; update your Expectation Suites; and learn how to add, retrieve, list, and delete key GX components.

Distribuisci le Validation Definitions

Opzioni

Checkpoint

Action

Data Docs

Verifica dei concetti

Crea un Checkpoint

Aggiorna le Expectation Suite

Copia un'Expectation

Eliminare un'Expectation

Aggiorna una Expectation

Gestisci i componenti

Aggiungi e elenca i componenti

Gestisci un Checkpoint

GX in Practice

Dive head-first into the world of Expectations. Practice creating basic column Expectations, row- and aggregate-level numeric Expectations, string and string parseability Expectations, and more. Learn how to apply Expectations to only some rows of a dataframe.

Basic Column Expectations

Establish row-level Expectations

Establish aggregate-level Expectations

Type-Specific Expectations

Establish numeric Expectations

Establish string Expectations

Conditional Expectations

Write up a Conditional Expectation

Invert a Conditional Expectation

Wrap-Up

All About Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations è una potente libreria Python per monitorare la qualità dei dati nei flussi di lavoro di data science e data engineering. Impara a connettere insiemi di dati reali, applicare, modificare ed eliminare Expectations, e a creare pipeline per convalidare nuovi insiemi di dati in produzione. Esplorerai Expectations per colonne numeriche e di tipo stringa e scriverai validazioni tra colonne. Alla fine, saprai garantire con sicurezza che i tuoi dati rispettino gli standard di qualità.

Great Expectations è uno strumento super utile per controllare la qualità dei dati nei flussi di lavoro di scienza dei dati e ingegneria dei dati. La piattaforma può essere facilmente integrata in Python, rendendola una libreria utile da imparare per chi usa Python.

Il cuore di Great Expectations sono le aspettative, cioè quelle cose che vuoi controllare sui tuoi dati. Inizierai questo corso imparando come collegarti a set di dati reali e applicare le aspettative a essi. Imparerai quindi come recuperare, modificare, eliminare le aspettative e creare pipeline per applicare le aspettative a nuovi set di dati in un'implementazione di produzione.

Infine, scoprirai tipi specifici di aspettative, come quelle per le colonne numeriche e stringa, e come scrivere aspettative di una colonna in base ai valori di altre colonne.

Alla fine di questo corso, avrai una solida base sulla libreria Python Great Expectations. Potrai usare le funzioni principali della piattaforma per controllare la qualità dei tuoi dati e potrai usarli con la certezza che rispettano i tuoi standard di qualità.

Data Manipulation with pandas

Garantisci alta qualità dei dati nei flussi di lavoro con la libreria Great Expectations di Python.

Introduzione alla Data Quality con Great Expectations

Assicurati che i dati siano di alta qualità nei flussi di lavoro di scienza dei dati e ingegneria dei dati con la libreria Great Expectations di Python.

Ingegnere dell'apprendimento automatico

Un oggetto che raggruppa le Validation Definition e le esegue con parametri condivisi

Un componente configurabile nei Checkpoint che integra Great Expectations con altri strumenti sulla base di un Validation Result

Sito web statico generato dai metadati di Great Expectations che descrive Expectations, Validation Result, ecc.

Verifica dei concetti

Introduzione alla Data Quality con Great Expectations

Esercizio pratico interattivo