Scopri perché Great Expectations (GX) è uno strumento così potente per monitorare la qualità dei dati. Familiarizza con le basi di GX, inclusi l’avvio di una sessione usando un Data Context e il caricamento di un dataframe pandas tramite Data Source, Data Asset e Batch Definition.

Crea un Data Context

Crea il tuo Data Context

Anteprima di GX

Definizioni delle parole chiave

Connettersi ai dati

Ripasso dei concetti

Crea una Data Source e un Data Asset

Leggere i dati in batch

Crea una Batch Definition e una Batch

Esamina il tuo Batch

Connessione ai dati

Crea e valuta Expectations di base su forma e schema. Convalida le tue Expectations singolarmente, come parte di una Expectation Suite con una Batch Definition, oppure usando una Validation Definition.

Crea Expectations

Imposta un'Expectation sul numero di colonne

Valuta i risultati della validazione

Expectation di schema

Definisci un'Expectation sul nome della colonna

Definisci una Expectation sull'intervallo di colonne

Crea una suite di Expectations

Crea un'Expectation Suite

Convalida la tua Expectation Suite

Convalidare le suite di Expectation

Crea ed esegui una Validation Definition

Validation Definition vs. Batch Definition

Definire le Expectations

Apprendi competenze pratiche che ti aiuteranno a gestire al meglio la natura dinamica delle Expectations nel mondo reale. Distribuisci le Validation Definitions usando i Checkpoint; aggiorna le tue Expectation Suite; e impara ad aggiungere, recuperare, elencare ed eliminare i componenti chiave di GX.

Distribuisci le Validation Definitions

Opzioni

Checkpoint

Action

Data Docs

Verifica dei concetti

Crea un Checkpoint

Aggiorna le Expectation Suite

Copia un'Expectation

Eliminare un'Expectation

Aggiorna una Expectation

Gestisci i componenti

Aggiungi e elenca i componenti

Gestisci un Checkpoint

GX nella pratica

Tuffati a capofitto nel mondo delle Expectations. Esercitati a creare Expectations di base a livello di colonna, Expectations numeriche a livello di riga e di aggregazione, Expectations per stringhe e per la loro analizzabilità, e altro ancora. Impara ad applicare Expectations solo ad alcune righe di un dataframe.

Aspettative di base sulle colonne

Definisci Expectations a livello di riga

Definisci Expectations a livello aggregato

Aspettative specifiche per tipo

Definisci Expectations numeriche

Definisci Expectations per stringhe

Expectations condizionali

Scrivi una Conditional Expectation

Inverti una Conditional Expectation

Riepilogo

Tutto sulle Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations è una potente libreria Python per monitorare la qualità dei dati nei flussi di lavoro di data science e data engineering. Impara a connettere insiemi di dati reali, applicare, modificare ed eliminare Expectations, e a creare pipeline per convalidare nuovi insiemi di dati in produzione. Esplorerai Expectations per colonne numeriche e di tipo stringa e scriverai validazioni tra colonne. Alla fine, saprai garantire con sicurezza che i tuoi dati rispettino gli standard di qualità.

Great Expectations è uno strumento super utile per controllare la qualità dei dati nei flussi di lavoro di scienza dei dati e ingegneria dei dati. La piattaforma può essere facilmente integrata in Python, rendendola una libreria utile da imparare per chi usa Python.

Il cuore di Great Expectations sono le aspettative, cioè quelle cose che vuoi controllare sui tuoi dati. Inizierai questo corso imparando come collegarti a set di dati reali e applicare le aspettative a essi. Imparerai quindi come recuperare, modificare, eliminare le aspettative e creare pipeline per applicare le aspettative a nuovi set di dati in un'implementazione di produzione.

Infine, scoprirai tipi specifici di aspettative, come quelle per le colonne numeriche e stringa, e come scrivere aspettative di una colonna in base ai valori di altre colonne.

Alla fine di questo corso, avrai una solida base sulla libreria Python Great Expectations. Potrai usare le funzioni principali della piattaforma per controllare la qualità dei tuoi dati e potrai usarli con la certezza che rispettano i tuoi standard di qualità.

Data Manipulation with pandas

Garantisci alta qualità dei dati nei flussi di lavoro con la libreria Great Expectations di Python.

Introduzione alla Data Quality con Great Expectations

Assicurati che i dati siano di alta qualità nei flussi di lavoro di scienza dei dati e ingegneria dei dati con la libreria Great Expectations di Python.

Ingegnere dell'apprendimento automatico

Un oggetto che raggruppa le Validation Definition e le esegue con parametri condivisi

Un componente configurabile nei Checkpoint che integra Great Expectations con altri strumenti sulla base di un Validation Result

Sito web statico generato dai metadati di Great Expectations che descrive Expectations, Validation Result, ecc.

Verifica dei concetti

Introduzione alla Data Quality con Great Expectations

esercizio interattivo pratico