Great Expectations (GX)’in veri kalitesini izlemek için neden bu kadar güçlü bir araç olduğunu anla. Bir Data Context kullanarak oturum başlatma dahil GX’in temellerine alış; bir Data Source, Data Asset ve Batch Definition kullanarak bir pandas dataframe’ini nasıl yükleyeceğini öğren.

Bir Data Context Oluştur

Kendi Data Context'ini oluştur

GX’e Hızlı Bir Bakış

Anahtar Terim Tanımları

Veriye Bağlan

Kavram Gözden Geçirme

Bir Data Source ve Data Asset oluştur

Verileri Toplu Olarak Oku

Bir Yığın Tanımı ve Yığın Oluştur

Batch'ini İncele

Veriye Bağlanma

Temel şekil ve şema Expectation’ları oluştur ve değerlendir. Expectation’larını tek tek, bir Batch Definition ile bir Expectation Suite’in parçası olarak ya da bir Validation Definition kullanarak doğrula.

Expectations Oluştur

Bir Sütun Sayısı Expectation'ı Oluştur

Doğrulama Sonuçlarını Değerlendir

Şema Beklentileri

Bir Sütun Adı Beklentisi Belirle

Bir Sütun Aralığı Beklentisi Oluştur

Bir Expectation Paketi Oluştur

Bir Expectation Suite oluştur

Expectation Suite'ünü doğrula

Expectation Suite'lerini Doğrula

Bir Doğrulama Tanımı Oluştur ve Çalıştır

Doğrulama Tanımı ve Yığın (Batch) Tanımı

Expectation’ları Oluşturma

Gerçek dünyada Expectation’ların dinamik doğasına hâkim olmana yardımcı olacak pratik beceriler öğren. Validation Definition’ları Checkpoint’ler kullanarak dağıt; Expectation Suite’lerini güncelle; ve temel GX bileşenlerini eklemeyi, getirmeyi, listelemeyi ve silmeyi öğren.

Doğrulama Tanımlarını Dağıt

Seçenekler

Checkpoint

Action

Data Docs

Kavram Kontrolü

Bir Checkpoint Oluştur

Expectation Suite'lerini Güncelle

Bir Expectation'ı Kopyala

Bir Expectation'ı Sil

Bir Expectation'ı Güncelle

Bileşenleri Yönet

Bileşen ekle ve listele

Bir Checkpoint'i Yönet

GX Uygulamada

Expectation’ların dünyasına doğrudan dal. Temel sütun Expectation’ları, satır ve toplulaştırma düzeyinde sayısal Expectation’lar, metin ve metin ayrıştırılabilirliği Expectation’ları ve daha fazlasını oluşturmayı pratiğe dök. Expectation’ları bir dataframe’in yalnızca bazı satırlarına nasıl uygulayacağını öğren.

Temel Sütun Expectations

Satır düzeyinde Expectations oluştur

Toplam düzeyinde Expectation'lar oluştur

Türe Özgü Expectations

Sayısal Expectation'lar oluştur

String Expectation’ları belirle

Koşullu Expectations

Koşullu bir Expectation yaz

Koşullu Bir Expectation'ı Tersine Çevir

Kapanış

Expectation’lar Hakkında Her Şey

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations, veri bilimi ve mühendisliği iş akışlarında veri kalitesini izlemek için güçlü bir Python kütüphanesidir. Gerçek dünya veri kümelerine bağlanmayı, Expectation’ları uygulamayı, düzenlemeyi ve silmeyi; ayrıca üretimde yeni veri kümelerini doğrulamak için ardışık düzenler kurmayı öğren. Sayısal ve metin sütunları için Expectation’ları keşfedecek ve sütunlar arası doğrulamalar yazacaksın. Kurs sonunda, verinin kalite standartlarını karşıladığını güvenle sağlayabileceksin.

Great Expectations, veri bilimi ve veri mühendisliği iş akışlarında veri kalitesini izlemek için güçlü bir araçtır. Platform, Python'a kolayca entegre edilebilir, bu da onu Python kullanıcılarının öğrenmesi için yararlı bir kütüphane haline getirir.

Great Expectations'ın temelinde, verilerinizle ilgili doğrulamak istediğiniz beklentiler veya iddialar yer alır. Bu kursa, gerçek dünya veri kümelerine nasıl bağlanacağınızı ve bunlara Beklentileri nasıl uygulayacağınızı öğrenerek başlayacaksınız. Ardından, beklentileri nasıl alacağınızı, düzenleyeceğinizi, sileceğinizi ve üretim dağıtımında yeni veri kümelerine beklentileri uygulamak için boru hatları oluşturmayı öğreneceksiniz.

Son olarak, sayısal ve dize sütunları gibi belirli beklenti türleri ve diğer sütunların değerlerine bağlı olarak bir sütunun beklentilerini nasıl yazacağınız hakkında bilgi edineceksiniz.

Bu kursun sonunda, Great Expectations Python kütüphanesi hakkında sağlam bir temel bilgilere sahip olacaksınız. Platformun temel işlevlerini kullanarak verilerinizin kalitesini izleyebilir ve verilerinizin veri kalitesi standartlarını karşıladığına güvenerek kullanabilirsiniz.

Data Manipulation with pandas

Python Great Expectations kütüphanesiyle veri bilimi ve mühendisliği iş akışlarında yüksek veri kalitesi sağla.

Great Expectations ile Veri Kalitesine Giriş

Python'un Great Expectations kütüphanesi ile veri bilimi ve veri mühendisliği iş akışlarında yüksek veri kalitesini sağlayın.

Makine Öğrenimi Mühendisi

Validation Definition'ları bir araya getiren ve ortak parametrelerle çalıştıran nesne

Checkpoint'lerde yapılandırılabilen ve bir Validation Result'a göre Great Expectations'ı diğer araçlarla entegre eden bileşen

Expectations, Validation Results vb. ayrıntılarını içeren Great Expectations meta verilerinden üretilen statik web sitesi

Kavram Kontrolü

Great Expectations ile Veri Kalitesine Giriş

Uygulamalı etkileşimli egzersiz