Understand why Great Expectations (GX) is such a powerful tool for monitoring data quality. Get familiar with the basics of GX, including how to start a session using a Data Context, and how to load in a pandas dataframe using a Data Source, Data Asset, and Batch Definition. 

Create a Data Context

Create your Data Context

Sneak Peek into GX

Keyword Definitions

Connect to Data

Concept Review

Create a Data Source and Data Asset

Read Data in Batches

Create a Batch Definition and Batch

Inspect your Batch

Connecting to Data

Create and evaluate basic shape and schema Expectations. Validate your Expectations either individually, as part of an Expectation Suite with a Batch Definition, or using a Validation Definition.

Create Expectations

Establish a Column Count Expectation

Evaluate Validation Results

Schema Expectations

Establish a Column Name Expectation

Establish a Column Range Expectation

Create a Suite of Expectations

Create an Expectation Suite

Validate your Expectation Suite

Validate Expectation Suites

Create and Run a Validation Definition

Validation Definition vs. Batch Definition

Establishing Expectations

Learn practical skills that will help you dominate the dynamic nature of Expectations in the real world. Deploy Validation Definitions using Checkpoints; update your Expectation Suites; and learn how to add, retrieve, list, and delete key GX components.

Déployer des définitions de validation

Options

Checkpoint

Action

Data Docs

Vérification des concepts

Créer un Checkpoint

Mettre à jour des suites d’Expectations

Copier une Expectation

Supprimer une Expectation

Mettre à jour une Expectation

Gérer les composants

Ajouter et lister des composants

Gérer un Checkpoint

GX in Practice

Dive head-first into the world of Expectations. Practice creating basic column Expectations, row- and aggregate-level numeric Expectations, string and string parseability Expectations, and more. Learn how to apply Expectations to only some rows of a dataframe.

Basic Column Expectations

Establish row-level Expectations

Establish aggregate-level Expectations

Type-Specific Expectations

Establish numeric Expectations

Establish string Expectations

Conditional Expectations

Write up a Conditional Expectation

Invert a Conditional Expectation

Wrap-Up

All About Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations est une puissante bibliothèque Python pour surveiller la qualité des données dans les workflows de data science et d’ingénierie. Apprenez à connecter des jeux de données réels, à appliquer, modifier et supprimer des Expectations, et à créer des pipelines pour valider de nouveaux jeux de données en production. Vous explorerez des Expectations pour des colonnes numériques et textuelles et écrirez des validations entre colonnes. À la fin, vous serez en mesure de garantir avec confiance que vos données respectent les standards de qualité.

Great Expectations est un outil puissant pour surveiller la qualité des données dans les workflows de science et d'ingénierie des données. La plateforme peut être facilement intégrée à Python, ce qui en fait une bibliothèque utile à maîtriser pour les utilisateurs de Python.

Au cœur de Great Expectations se trouvent les attentes, ou les affirmations que vous souhaitez vérifier concernant vos données. Vous commencerez ce cours en apprenant à vous connecter à des ensembles de données réels et à leur appliquer des attentes. Vous apprendrez ensuite à récupérer, modifier et supprimer des attentes, ainsi qu'à créer des pipelines pour appliquer ces attentes à de nouveaux ensembles de données dans un déploiement de production.

Enfin, vous découvrirez des types spécifiques d'attentes, telles que celles relatives aux colonnes numériques et aux colonnes de chaînes de caractères, et vous apprendrez à rédiger des attentes pour une colonne en fonction des valeurs d'autres colonnes.

À la fin de ce cours, vous disposerez de solides bases sur la bibliothèque Python Great Expectations. Vous pourrez utiliser les fonctionnalités principales de la plateforme pour contrôler la qualité de vos données et les exploiter en toute confiance, sachant qu'elles répondent à vos normes de qualité.

Data Manipulation with pandas

Assurez une haute qualité des données dans les flux de travail avec la bibliothèque Great Expectations.

Introduction à la qualité des données avec Great Expectations

Assurez la qualité des données dans les workflows de science et d'ingénierie des données via la bibliothèque Great Expectations de Python.

Ingénieur en apprentissage automatique

Gérer un Checkpoint

Exercice interactif pratique