Comprenez pourquoi Great Expectations (GX) est un outil aussi puissant pour surveiller la qualité des données. Familiarisez-vous avec les notions de base de GX, notamment comment démarrer une session à l'aide d'un Data Context, et comment charger un dataframe pandas à l'aide d'un Data Source, d'un Data Asset et d'une Batch Definition.

Créer un contexte de données

Créez votre Data Context

Aperçu de GX

Définitions des mots-clés

Se connecter aux données

Révision des concepts

Créer une source de données et une ressource de données

Lire les données par lots

Créer une définition de lot et un lot

Inspecter votre lot (Batch)

Connexion aux données

Créez et évaluez des Expectations de forme et de schéma de base. Validez vos Expectations individuellement, dans une Expectation Suite avec une Batch Definition, ou au moyen d'une Validation Definition.

Créer des Expectations

Établir une Expectation sur le nombre de colonnes

Évaluer les résultats de validation

Expectations de schéma

Établir une Expectation sur le nom d'une colonne

Établir une Expectation sur l'intervalle du nombre de colonnes

Créer une suite d'Expectations

Validez votre ensemble d'Expectations

Valider des ensembles d'Expectations

Créer et exécuter une Validation Definition

Validation Definition vs. Batch Definition

Établir des Expectations

Acquérez des compétences pratiques qui vous aideront à maîtriser la nature dynamique des Expectations dans des contextes réels. Déployez des Validation Definitions à l'aide de Checkpoints, mettez à jour vos Expectation Suites et apprenez à ajouter, récupérer, lister et supprimer des composants clés de GX.

Déployer des définitions de validation

Options

Checkpoint

Action

Data Docs

Vérification des concepts

Créer un Checkpoint

Mettre à jour des suites d'Expectations

Copier une Expectation

Supprimer une Expectation

Mettre à jour une Expectation

Gérer les composants

Ajouter et lister des composants

Gérer un Checkpoint

GX en pratique

Plongez au cœur du monde des Expectations. Exercez-vous à créer des Expectations de colonnes de base, des Expectations numériques au niveau des lignes et des agrégats, des Expectations sur les chaînes et leur analysabilité, et plus encore. Apprenez à appliquer des Expectations seulement à certaines lignes d'un dataframe.

Expectations de base sur les colonnes

Établir des Expectations au niveau des lignes

Établir des Expectations au niveau agrégé

Attentes propres au type

Établir des Expectations numériques

Établir des Expectations pour les chaînes

Expectations conditionnelles

Rédiger une Expectation conditionnelle

Inverser une Expectation conditionnelle

Récapitulatif

Tout sur les Expectations

life_expectancy.csv

weather_new.csv

renewable_new.csv

shein_footwear_clean.csv

movie_dataset.csv

Great Expectations est une puissante bibliothèque Python pour surveiller la qualité des données dans les flux de travaux en science et en génie des données. Apprenez à connecter des jeux de données réels, à appliquer, modifier et supprimer des Expectations, et à créer des pipelines pour valider de nouveaux jeux de données en production. Vous explorerez des Expectations pour des colonnes numériques et de chaînes de caractères et rédigerez des validations entre colonnes. À la fin, vous serez en mesure d'assurer avec confiance que vos données respectent les normes de qualité.

Great Expectations est un outil puissant pour surveiller la qualité des données dans les flux de travail de science des données et d’ingénierie des données. La plateforme peut être facilement intégrée à Python, ce qui en fait une bibliothèque utile à maîtriser pour les utilisateurs de Python.

Au cœur de Great Expectations se trouvent les Expectations, ou assertions que vous souhaitez vérifier au sujet de vos données. Vous commencerez ce cours en apprenant à vous connecter à des ensembles de données du monde réel et à leur appliquer des Expectations. Vous apprendrez ensuite à récupérer, modifier et supprimer des Expectations, ainsi qu’à créer des pipelines pour appliquer des Expectations à de nouveaux ensembles de données dans un déploiement de production.

Enfin, vous apprendrez les types précis d’Expectations, comme celles pour les colonnes numériques et de chaînes de caractères, ainsi que la façon d’écrire des Expectations d’une colonne conditionnelles aux valeurs d’autres colonnes.

À la fin de ce cours, vous aurez une solide base dans la bibliothèque Python Great Expectations. Vous serez en mesure d’utiliser les fonctionnalités de base de la plateforme pour surveiller la qualité de vos données, et vous pourrez utiliser vos données en toute confiance, sachant qu’elles respectent vos normes de qualité des données.

Data Manipulation with pandas

Assurez une haute qualité des données dans les flux de travail avec la bibliothèque Great Expectations.

Introduction à la qualité des données avec Great Expectations

Ingénieur en apprentissage automatique

Un objet qui regroupe des définitions de validation et les exécute avec des paramètres communs

Un composant configurable sur les Checkpoints qui intègre Great Expectations à d'autres outils en fonction d'un résultat de validation

Site Web statique généré à partir des métadonnées de Great Expectations, détaillant les Expectations, les résultats de validation, etc.

Vérification des concepts

Introduction à la qualité des données avec Great Expectations

Exercice interactif pratique