Understand why Great Expectations (GX) is such a powerful tool for monitoring data quality. Get familiar with the basics of GX, including how to start a session using a Data Context, and how to load in a pandas dataframe using a Data Source, Data Asset, and Batch Definition. 

Buat Data Context

Buat Data Context Anda

Intip Fitur GX

Opsi

Great Expectations

Data Context

Expectation

Definisi Kata Kunci

Menyambungkan ke Data

Parameter `name`

Data Source

Data Asset

Tinjauan Konsep

Membuat Data Source dan Data Asset

Membaca Data per Batch

Buat Batch Definition dan Batch

Periksa Batch Anda

Connecting to Data

Create and evaluate basic shape and schema Expectations. Validate your Expectations either individually, as part of an Expectation Suite with a Batch Definition, or using a Validation Definition.

Create Expectations

Establish a Column Count Expectation

Evaluate Validation Results

Schema Expectations

Establish a Column Name Expectation

Establish a Column Range Expectation

Create a Suite of Expectations

Create an Expectation Suite

Validate your Expectation Suite

Validate Expectation Suites

Create and Run a Validation Definition

Validation Definition vs. Batch Definition

Establishing Expectations

Learn practical skills that will help you dominate the dynamic nature of Expectations in the real world. Deploy Validation Definitions using Checkpoints; update your Expectation Suites; and learn how to add, retrieve, list, and delete key GX components.

Deploy Validation Definitions

Concept Check

Create a Checkpoint

Update Expectation Suites

Copy an Expectation

Delete an Expectation

Update an Expectation

Manage Components

Add and list components

Manage a Checkpoint

GX in Practice

Dive head-first into the world of Expectations. Practice creating basic column Expectations, row- and aggregate-level numeric Expectations, string and string parseability Expectations, and more. Learn how to apply Expectations to only some rows of a dataframe.

Basic Column Expectations

Establish row-level Expectations

Establish aggregate-level Expectations

Type-Specific Expectations

Establish numeric Expectations

Establish string Expectations

Conditional Expectations

Write up a Conditional Expectation

Invert a Conditional Expectation

Wrap-Up

All About Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations adalah pustaka Python yang andal untuk memantau kualitas data dalam alur kerja data science dan rekayasa data. Pelajari cara menghubungkan himpunan data dunia nyata, menerapkan, mengedit, dan menghapus Expectation, serta membangun pipeline untuk memvalidasi himpunan data baru di produksi. Anda akan mengeksplorasi Expectation untuk kolom numerik dan string serta menulis validasi lintas kolom. Pada akhirnya, Anda akan percaya diri memastikan data Anda memenuhi standar kualitas.

Great Expectations adalah alat yang sangat berguna untuk memantau kualitas data dalam alur kerja ilmu data dan rekayasa data. Platform ini dapat dengan mudah diintegrasikan ke dalam Python, menjadikannya perpustakaan yang berguna bagi pengguna Python untuk dikuasai.

Inti dari Great Expectations adalah Expectations, atau pernyataan yang ingin Anda verifikasi tentang data Anda. Anda akan memulai kursus ini dengan mempelajari cara menghubungkan ke dataset dunia nyata dan menerapkan Expectations pada dataset tersebut. Anda akan belajar cara mengakses, mengedit, menghapus Ekspektasi, serta membangun alur kerja untuk menerapkan Ekspektasi pada dataset baru dalam lingkungan produksi.

Akhirnya, Anda akan mempelajari jenis-jenis Expectations tertentu, seperti untuk kolom numerik dan string, serta cara menulis Expectations untuk satu kolom yang bergantung pada nilai kolom lain.

Pada akhir kursus ini, Anda akan memiliki dasar yang kuat dalam perpustakaan Python Great Expectations. Anda akan dapat menggunakan fungsi inti platform untuk memantau kualitas data Anda, dan Anda dapat menggunakan data tersebut dengan keyakinan bahwa data tersebut memenuhi standar kualitas data Anda.

Data Manipulation with pandas

Pastikan kualitas data tinggi dalam alur kerja data science dan rekayasa data dengan Great Expectations.

Pengantar Data Quality dengan Great Expectations

Pastikan kualitas data yang tinggi dalam alur kerja ilmu data dan rekayasa data dengan perpustakaan Great Expectations Python.

Insinyur Pembelajaran Mesin

Nama string dari sebuah komponen yang disimpan di GX

Objek yang memberi tahu GX cara terhubung ke sumber data eksternal tertentu

Kumpulan rekaman dalam sebuah Data Source

Tinjauan Konsep

Pengantar Data Quality dengan Great Expectations

Latihan interaktif praktis