Pahami mengapa Great Expectations (GX) adalah alat yang sangat kuat untuk memantau kualitas data. Kenali dasar-dasar GX, termasuk cara memulai sesi menggunakan Data Context, serta cara memuat pandas dataframe menggunakan Data Source, Data Asset, dan Batch Definition.

Buat Data Context

Buat Data Context Anda

Intip Fitur GX

Definisi Kata Kunci

Menyambungkan ke Data

Tinjauan Konsep

Membuat Data Source dan Data Asset

Membaca Data per Batch

Buat Batch Definition dan Batch

Periksa Batch Anda

Buat dan evaluasi Expectation dasar untuk bentuk dan skema. Validasi Expectation Anda secara individual, sebagai bagian dari Expectation Suite dengan Batch Definition, atau menggunakan Validation Definition.

Membuat Expectation

Membuat Expectation Jumlah Kolom

Mengevaluasi Hasil Validasi

Ekspektasi Skema

Menyusun Expectation Nama Kolom

Menetapkan Expectation Rentang Jumlah Kolom

Membuat Satu Set Expectation

Membuat Expectation Suite

Validasikan Expectation Suite Anda

Validasi Expectation Suite

Membuat dan Menjalankan Validation Definition

Validation Definition vs. Batch Definition

Menetapkan Expectation

Pelajari keterampilan praktis yang membantu Anda menguasai sifat dinamis Expectation di dunia nyata. Terapkan Validation Definition menggunakan Checkpoint; perbarui Expectation Suite; dan pelajari cara menambahkan, mengambil, membuat daftar, dan menghapus komponen inti GX.

Menerapkan Validation Definitions

Opsi

Checkpoint

Action

Data Docs

Pemeriksaan Konsep

Buat sebuah Checkpoint

Perbarui Expectation Suite

Menyalin sebuah Expectation

Hapus sebuah Expectation

Perbarui sebuah Expectation

Kelola Komponen

Tambah dan daftar komponen

Mengelola Checkpoint

GX dalam Praktik

Menyelami dunia Expectation. Latih pembuatan Expectation kolom dasar, Expectation numerik pada tingkat baris dan agregat, Expectation string dan parseability string, dan lainnya. Pelajari cara menerapkan Expectation hanya pada sebagian baris dalam sebuah dataframe.

Ekspektasi Kolom Dasar

Membuat Expectations tingkat baris

Menyusun Expectations tingkat agregat

Ekspektasi Spesifik Tipe

Menetapkan Expectation numerik

Menyusun Expectation untuk string

Ekspektasi Bersyarat

Tulis sebuah Conditional Expectation

Membalik suatu Conditional Expectation

Penutup

Seputar Expectation

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations adalah pustaka Python yang andal untuk memantau kualitas data dalam alur kerja data science dan rekayasa data. Pelajari cara menghubungkan himpunan data dunia nyata, menerapkan, mengedit, dan menghapus Expectation, serta membangun pipeline untuk memvalidasi himpunan data baru di produksi. Anda akan mengeksplorasi Expectation untuk kolom numerik dan string serta menulis validasi lintas kolom. Pada akhirnya, Anda akan percaya diri memastikan data Anda memenuhi standar kualitas.

Great Expectations adalah alat yang sangat berguna untuk memantau kualitas data dalam alur kerja ilmu data dan rekayasa data. Platform ini dapat dengan mudah diintegrasikan ke dalam Python, menjadikannya perpustakaan yang berguna bagi pengguna Python untuk dikuasai.

Inti dari Great Expectations adalah Expectations, atau pernyataan yang ingin Anda verifikasi tentang data Anda. Anda akan memulai kursus ini dengan mempelajari cara menghubungkan ke dataset dunia nyata dan menerapkan Expectations pada dataset tersebut. Anda akan belajar cara mengakses, mengedit, menghapus Ekspektasi, serta membangun alur kerja untuk menerapkan Ekspektasi pada dataset baru dalam lingkungan produksi.

Akhirnya, Anda akan mempelajari jenis-jenis Expectations tertentu, seperti untuk kolom numerik dan string, serta cara menulis Expectations untuk satu kolom yang bergantung pada nilai kolom lain.

Pada akhir kursus ini, Anda akan memiliki dasar yang kuat dalam perpustakaan Python Great Expectations. Anda akan dapat menggunakan fungsi inti platform untuk memantau kualitas data Anda, dan Anda dapat menggunakan data tersebut dengan keyakinan bahwa data tersebut memenuhi standar kualitas data Anda.

Data Manipulation with pandas

Pastikan kualitas data tinggi dalam alur kerja data science dan rekayasa data dengan Great Expectations.

Pengantar Data Quality dengan Great Expectations

Pastikan kualitas data yang tinggi dalam alur kerja ilmu data dan rekayasa data dengan perpustakaan Great Expectations Python.

Insinyur Pembelajaran Mesin

Objek yang mengelompokkan Validation Definitions dan menjalankannya dengan parameter bersama

Komponen yang dapat dikonfigurasi pada Checkpoints dan mengintegrasikan Great Expectations dengan alat lain berdasarkan Validation Result

Situs web statis yang dihasilkan dari metadata Great Expectations yang merinci Expectations, Validation Results, dan lain-lain.

Pemeriksaan Konsep

Pengantar Data Quality dengan Great Expectations

Latihan interaktif langsung