Understand why Great Expectations (GX) is such a powerful tool for monitoring data quality. Get familiar with the basics of GX, including how to start a session using a Data Context, and how to load in a pandas dataframe using a Data Source, Data Asset, and Batch Definition. 

Create a Data Context

Create your Data Context

Sneak Peek into GX

Keyword Definitions

Connect to Data

Concept Review

Create a Data Source and Data Asset

Read Data in Batches

Create a Batch Definition and Batch

Inspect your Batch

Connecting to Data

Create and evaluate basic shape and schema Expectations. Validate your Expectations either individually, as part of an Expectation Suite with a Batch Definition, or using a Validation Definition.

Create Expectations

Establish a Column Count Expectation

Evaluate Validation Results

Schema Expectations

Establish a Column Name Expectation

Establish a Column Range Expectation

Create a Suite of Expectations

Create an Expectation Suite

Validate your Expectation Suite

Validate Expectation Suites

Create and Run a Validation Definition

Validation Definition vs. Batch Definition

Establishing Expectations

Learn practical skills that will help you dominate the dynamic nature of Expectations in the real world. Deploy Validation Definitions using Checkpoints; update your Expectation Suites; and learn how to add, retrieve, list, and delete key GX components.

Menerapkan Validation Definitions

Opsi

Checkpoint

Action

Data Docs

Pemeriksaan Konsep

Buat sebuah Checkpoint

Perbarui Expectation Suite

Menyalin sebuah Expectation

Hapus sebuah Expectation

Perbarui sebuah Expectation

Kelola Komponen

Tambah dan daftar komponen

Mengelola Checkpoint

GX in Practice

Dive head-first into the world of Expectations. Practice creating basic column Expectations, row- and aggregate-level numeric Expectations, string and string parseability Expectations, and more. Learn how to apply Expectations to only some rows of a dataframe.

Basic Column Expectations

Establish row-level Expectations

Establish aggregate-level Expectations

Type-Specific Expectations

Establish numeric Expectations

Establish string Expectations

Conditional Expectations

Write up a Conditional Expectation

Invert a Conditional Expectation

Wrap-Up

All About Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations adalah pustaka Python yang andal untuk memantau kualitas data dalam alur kerja data science dan rekayasa data. Pelajari cara menghubungkan himpunan data dunia nyata, menerapkan, mengedit, dan menghapus Expectation, serta membangun pipeline untuk memvalidasi himpunan data baru di produksi. Anda akan mengeksplorasi Expectation untuk kolom numerik dan string serta menulis validasi lintas kolom. Pada akhirnya, Anda akan percaya diri memastikan data Anda memenuhi standar kualitas.

Great Expectations adalah alat yang sangat berguna untuk memantau kualitas data dalam alur kerja ilmu data dan rekayasa data. Platform ini dapat dengan mudah diintegrasikan ke dalam Python, menjadikannya perpustakaan yang berguna bagi pengguna Python untuk dikuasai.

Inti dari Great Expectations adalah Expectations, atau pernyataan yang ingin Anda verifikasi tentang data Anda. Anda akan memulai kursus ini dengan mempelajari cara menghubungkan ke dataset dunia nyata dan menerapkan Expectations pada dataset tersebut. Anda akan belajar cara mengakses, mengedit, menghapus Ekspektasi, serta membangun alur kerja untuk menerapkan Ekspektasi pada dataset baru dalam lingkungan produksi.

Akhirnya, Anda akan mempelajari jenis-jenis Expectations tertentu, seperti untuk kolom numerik dan string, serta cara menulis Expectations untuk satu kolom yang bergantung pada nilai kolom lain.

Pada akhir kursus ini, Anda akan memiliki dasar yang kuat dalam perpustakaan Python Great Expectations. Anda akan dapat menggunakan fungsi inti platform untuk memantau kualitas data Anda, dan Anda dapat menggunakan data tersebut dengan keyakinan bahwa data tersebut memenuhi standar kualitas data Anda.

Data Manipulation with pandas

Pastikan kualitas data tinggi dalam alur kerja data science dan rekayasa data dengan Great Expectations.

Pengantar Data Quality dengan Great Expectations

Pastikan kualitas data yang tinggi dalam alur kerja ilmu data dan rekayasa data dengan perpustakaan Great Expectations Python.

Insinyur Pembelajaran Mesin

Objek yang mengelompokkan Validation Definitions dan menjalankannya dengan parameter bersama

Komponen yang dapat dikonfigurasi pada Checkpoints dan mengintegrasikan Great Expectations dengan alat lain berdasarkan Validation Result

Situs web statis yang dihasilkan dari metadata Great Expectations yang merinci Expectations, Validation Results, dan lain-lain.

Pemeriksaan Konsep

Pengantar Data Quality dengan Great Expectations

Latihan interaktif praktis