Comprenez pourquoi Great Expectations (GX) est un outil aussi puissant pour surveiller la qualité des données. Familiarisez-vous avec les bases de GX, notamment comment démarrer une session à l’aide d’un Data Context, et comment charger un dataframe pandas via un Data Source, un Data Asset et une Batch Definition.

Créer un Data Context

Créez votre Data Context

Aperçu de GX

Définitions des mots-clés

Se connecter aux données

Révision des concepts

Créer une Data Source et un Data Asset

Lire les données par lots

Créer une définition de lot et un lot

Inspectez votre Batch

Créez et évaluez des Expectations de forme et de schéma simples. Validez vos Expectations individuellement, au sein d’une Expectation Suite avec une Batch Definition, ou à l’aide d’une Validation Definition.

Créer des Expectations

Définir une Expectation sur le nombre de colonnes

Évaluer les résultats de validation

Expectations de schéma

Définir une Expectation sur le nom d’une colonne

Définir une Expectation de plage pour le nombre de colonnes

Créer une suite d’Expectations

Créer une Suite d’Expectations

Valider votre Suite d’Expectations

Valider des suites d’Expectations

Créer et exécuter une Validation Definition

Validation Definition vs. Batch Definition

Définir des Expectations

Acquérez des compétences pratiques pour gérer la nature dynamique des Expectations sur des cas réels. Déployez des Validation Definitions avec des Checkpoints ; mettez à jour vos Expectation Suites ; et apprenez à ajouter, récupérer, lister et supprimer les principaux composants GX.

Déployer des définitions de validation

Options

Checkpoint

Action

Data Docs

Vérification des concepts

Créer un Checkpoint

Mettre à jour des suites d’Expectations

Copier une Expectation

Supprimer une Expectation

Mettre à jour une Expectation

Gérer les composants

Ajouter et lister des composants

Gérer un Checkpoint

GX en pratique

Plongez au cœur des Expectations. Entraînez-vous à créer des Expectations de base sur les colonnes, des Expectations numériques au niveau des lignes et des agrégats, des Expectations sur les chaînes de caractères et leur analysabilité, et plus encore. Apprenez à appliquer des Expectations uniquement à certaines lignes d’un dataframe.

Expectations de base sur les colonnes

Définir des Expectations au niveau ligne

Définir des Expectations au niveau agrégé

Expectations spécifiques au type

Définir des Expectations numériques

Définir des Expectations sur des chaînes de caractères

Expectations conditionnelles

Rédiger une Expectation conditionnelle

Inverser une Expectation conditionnelle

Conclusion

Tout sur les Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations est une puissante bibliothèque Python pour surveiller la qualité des données dans les workflows de data science et d’ingénierie. Apprenez à connecter des jeux de données réels, à appliquer, modifier et supprimer des Expectations, et à créer des pipelines pour valider de nouveaux jeux de données en production. Vous explorerez des Expectations pour des colonnes numériques et textuelles et écrirez des validations entre colonnes. À la fin, vous serez en mesure de garantir avec confiance que vos données respectent les standards de qualité.

Great Expectations est un outil puissant pour surveiller la qualité des données dans les workflows de science et d'ingénierie des données. La plateforme peut être facilement intégrée à Python, ce qui en fait une bibliothèque utile à maîtriser pour les utilisateurs de Python.

Au cœur de Great Expectations se trouvent les attentes, ou les affirmations que vous souhaitez vérifier concernant vos données. Vous commencerez ce cours en apprenant à vous connecter à des ensembles de données réels et à leur appliquer des attentes. Vous apprendrez ensuite à récupérer, modifier et supprimer des attentes, ainsi qu'à créer des pipelines pour appliquer ces attentes à de nouveaux ensembles de données dans un déploiement de production.

Enfin, vous découvrirez des types spécifiques d'attentes, telles que celles relatives aux colonnes numériques et aux colonnes de chaînes de caractères, et vous apprendrez à rédiger des attentes pour une colonne en fonction des valeurs d'autres colonnes.

À la fin de ce cours, vous disposerez de solides bases sur la bibliothèque Python Great Expectations. Vous pourrez utiliser les fonctionnalités principales de la plateforme pour contrôler la qualité de vos données et les exploiter en toute confiance, sachant qu'elles répondent à vos normes de qualité.

Data Manipulation with pandas

Assurez une haute qualité des données dans les flux de travail avec la bibliothèque Great Expectations.

Introduction à la qualité des données avec Great Expectations

Assurez la qualité des données dans les workflows de science et d'ingénierie des données via la bibliothèque Great Expectations de Python.

Ingénieur en apprentissage automatique

Un objet qui regroupe des Validation Definitions et les exécute avec des paramètres partagés

Un composant configurable sur les Checkpoints qui intègre Great Expectations à d’autres outils à partir d’un Validation Result

Site web statique généré à partir des métadonnées de Great Expectations, détaillant les Expectations, Validation Results, etc.

Vérification des concepts

Introduction à la qualité des données avec Great Expectations

Exercice interactif pratique