Understand why Great Expectations (GX) is such a powerful tool for monitoring data quality. Get familiar with the basics of GX, including how to start a session using a Data Context, and how to load in a pandas dataframe using a Data Source, Data Asset, and Batch Definition. 

Create a Data Context

Create your Data Context

Sneak Peek into GX

Keyword Definitions

Connect to Data

Concept Review

Create a Data Source and Data Asset

Read Data in Batches

Create a Batch Definition and Batch

Inspect your Batch

Connecting to Data

Create and evaluate basic shape and schema Expectations. Validate your Expectations either individually, as part of an Expectation Suite with a Batch Definition, or using a Validation Definition.

Create Expectations

Establish a Column Count Expectation

Evaluate Validation Results

Schema Expectations

Establish a Column Name Expectation

Establish a Column Range Expectation

Create a Suite of Expectations

Create an Expectation Suite

Validate your Expectation Suite

Validate Expectation Suites

Create and Run a Validation Definition

Validation Definition vs. Batch Definition

Establishing Expectations

Learn practical skills that will help you dominate the dynamic nature of Expectations in the real world. Deploy Validation Definitions using Checkpoints; update your Expectation Suites; and learn how to add, retrieve, list, and delete key GX components.

Validatiedefinities implementeren

Opties

Checkpoint

Action

Data Docs

Conceptcheck

Maak een Checkpoint

Expectation Suites bijwerken

Kopieer een Expectation

Verwijder een Expectation

Werk een Expectation bij

Onderdelen beheren

Componenten toevoegen en weergeven

Beheer een Checkpoint

GX in Practice

Dive head-first into the world of Expectations. Practice creating basic column Expectations, row- and aggregate-level numeric Expectations, string and string parseability Expectations, and more. Learn how to apply Expectations to only some rows of a dataframe.

Basic Column Expectations

Establish row-level Expectations

Establish aggregate-level Expectations

Type-Specific Expectations

Establish numeric Expectations

Establish string Expectations

Conditional Expectations

Write up a Conditional Expectation

Invert a Conditional Expectation

Wrap-Up

All About Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations is een krachtige Python-bibliotheek voor het monitoren van datakwaliteit in data science- en engineering-workflows. Leer echte gegevenssets te koppelen, Expectations toepassen, bewerken en verwijderen, en pipelines bouwen om nieuwe gegevenssets in productie te valideren. Je verkent Expectations voor numerieke en tekstkolommen en schrijft validaties over meerdere kolommen. Aan het einde zorg je er vol vertrouwen voor dat je data aan kwaliteitsnormen voldoet.

Great Expectations is een superhandig hulpmiddel om de kwaliteit van gegevens te checken in datawetenschap en data-engineering. Het platform kan makkelijk in Python worden geïntegreerd, waardoor het een handige bibliotheek is voor Python-gebruikers om onder de knie te krijgen.

De kern van Great Expectations zijn verwachtingen, of dingen die je wilt checken over je data. Je begint deze cursus door te leren hoe je verbinding kunt maken met echte datasets en hoe je verwachtingen daarop kunt toepassen. Je leert dan hoe je verwachtingen kunt ophalen, bewerken en verwijderen, en hoe je pijplijnen kunt bouwen om verwachtingen toe te passen op nieuwe datasets in een productieomgeving.

Tot slot leer je over specifieke soorten verwachtingen, zoals voor numerieke en tekenreeks kolommen, en hoe je verwachtingen voor één kolom kunt schrijven op basis van de waarden van andere kolommen.

Aan het einde van deze cursus heb je een stevige basis in de Python-bibliotheek Great Expectations. Je kunt de belangrijkste functies van het platform gebruiken om de kwaliteit van je gegevens te checken, en je kunt je gegevens gebruiken met het vertrouwen dat ze voldoen aan je kwaliteitsnormen.

Data Manipulation with pandas

Zorg voor hoge datakwaliteit in data science en engineering met de Great Expectations-bibliotheek.

Kennismaking met Datakwaliteit met Great Expectations

Zorg voor topkwaliteit van je data in datawetenschap en data-engineering met de Great Expectations-bibliotheek van Python.

Machine Learning Engineer

Een object dat Validation Definitions groepeert en ze uitvoert met gedeelde parameters

Een component die je op Checkpoints kunt configureren en die Great Expectations integreert met andere tools op basis van een Validation Result

Statische website die wordt gegenereerd op basis van Great Expectations-metadata met details over Expectations, Validation Results, enz.

Conceptcheck

Kennismaking met Datakwaliteit met Great Expectations

Praktische interactieve oefening