Înțelege de ce Great Expectations (GX) este un instrument atât de puternic pentru monitorizarea calității datelor. Familiarizează-te cu noțiunile de bază ale GX, inclusiv cum să pornești o sesiune folosind un Data Context și cum să încarci un dataframe pandas printr-un Data Source, Data Asset și Batch Definition.

Creează un Data Context

Creează-ți Data Context-ul

Privire de ansamblu asupra GX

Definiții cheie

Conectează-te la date

Recapitulare concepte

Creează un Data Source și un Data Asset

Citirea datelor în loturi

Creează o Batch Definition și un Batch

Inspectează Batch-ul

Conectarea la date

Creează și evaluează Expectations de bază privind forma și schema datelor. Validează Expectations individual, ca parte dintr-un Expectation Suite cu un Batch Definition, sau folosind o Validation Definition.

Crearea Expectation-urilor

Definește o Expectation pentru numărul de coloane

Evaluează rezultatele validării

Așteptări privind schema

Stabilește o Expectation pentru numele unei coloane

Stabilește o Expectation pentru intervalul de coloane

Creează o Suită de Așteptări

Creează un Expectation Suite

Validează-ți Suita de Așteptări

Validarea suitelor de Expectații

Creează și rulează o Validation Definition

Validation Definition vs. Batch Definition

Definirea Expectations

Dezvoltă abilități practice care te vor ajuta să gestionezi natura dinamică a Expectations în situații reale. Deployează Validation Definitions folosind Checkpoints, actualizează Expectation Suites și învață cum să adaugi, să recuperezi, să listezi și să ștergi componentele cheie ale GX.

Implementarea Validation Definitions

Opțiuni

Checkpoint

Acțiune

Data Docs

Verificare conceptuală

Creează un Checkpoint

Actualizarea suitelor de așteptări

Copierea unei Așteptări

Șterge o Expectation

Actualizează o Așteptare

Gestionează componentele

Adaugă și listează componente

Gestionează un Checkpoint

GX în practică

Explorează în profunzime lumea Expectations. Exersează crearea de Expectations de bază pentru coloane, Expectations numerice la nivel de rând și agregat, Expectations pentru șiruri de caractere și parseabilitatea acestora, și multe altele. Află cum să aplici Expectations doar pentru anumite rânduri dintr-un dataframe.

Așteptări de bază pentru coloane

Definește Expectații la nivel de rând

Definește Expectations la nivel de agregare

Așteptări specifice tipului de date

Stabilește Expectații numerice

Stabilește Expectații pentru șiruri de caractere

Așteptări condiționate

Scrie o Expectation condiționată

Inversarea unei Așteptări Condiționale

Recapitulare

Totul despre Expectations

life_expectancy.csv

weather_new.csv

renewable_new.csv

shein_footwear_clean.csv

movie_dataset.csv

Great Expectations este o bibliotecă Python puternică pentru monitorizarea calității datelor în fluxurile de lucru din știința și ingineria datelor. Învață să conectezi seturi de date reale, să aplici, să editezi și să ștergi Expectations, și să construiești pipeline-uri pentru validarea noilor seturi de date în producție. Vei explora Expectations pentru coloane numerice și de tip text și vei scrie validări între coloane. La final, vei putea garanta cu încredere că datele tale respectă standardele de calitate.

Great Expectations este un instrument puternic pentru monitorizarea calității datelor în fluxurile de lucru de data science și data engineering. Platforma poate fi integrată cu ușurință în Python, ceea ce o face o bibliotecă utilă pe care utilizatorii de Python să o stăpânească.

În centrul Great Expectations se află Expectations, adică afirmații pe care vrei să le verifici despre datele tale. Vei începe acest curs învățând cum să te conectezi la seturi de date din lumea reală și cum să aplici Expectations asupra lor. Apoi vei învăța cum să recuperezi, să editezi, să ștergi Expectations și să construiești pipeline-uri pentru aplicarea Expectations la seturi de date noi într-o implementare de producție.

În cele din urmă, vei învăța despre tipuri specifice de Expectations, cum ar fi pentru coloane numerice și de tip șir, și cum să scrii Expectations pentru o coloană condiționate de valorile altor coloane.

La finalul acestui curs, vei avea o bază solidă în biblioteca Python Great Expectations. Vei putea folosi funcționalitățile de bază ale platformei pentru a monitoriza calitatea datelor tale și vei putea folosi datele cu încrederea că acestea respectă standardele tale de calitate a datelor.

Data Manipulation with pandas

Asigură calitatea datelor în fluxurile de lucru cu biblioteca Great Expectations din Python.

Introducere în calitatea datelor cu Great Expectations

Asigurați calitatea datelor în fluxurile de lucru de data science și data engineering cu biblioteca Great Expectations din Python.

Inginer de învățare automată

Un obiect care grupează Definiții de Validare și le rulează cu parametri comuni

O componentă configurabilă pe Checkpoint-uri care integrează Great Expectations cu alte instrumente pe baza unui Rezultat de Validare

Site web static generat din metadatele Great Expectations, care detaliază Expectații, Rezultate de Validare etc.

Verificare conceptuală

Introducere în calitatea datelor cu Great Expectations

Exercițiu interactiv practic