Dowiedz się, dlaczego Great Expectations (GX) to tak skuteczne narzędzie do monitorowania jakości danych. Poznaj podstawy GX – w tym jak rozpocząć sesję za pomocą Data Context oraz jak wczytać ramkę danych pandas przy użyciu Data Source, Data Asset i Batch Definition.

Tworzenie Data Context

Utwórz Data Context

Zajrzyjmy w głąb GX

Opcje

Great Expectations

Data Context

Expectation

Definicje kluczowych pojęć

Połącz się z danymi

Parametr `name`

Data Source

Data Asset

Powtórzenie pojęć

Tworzenie Data Source i Data Asset

Odczyt danych w partiach

Utwórz definicję partii i partię

Sprawdź swój Batch

Łączenie z danymi

Twórz i oceniaj podstawowe Expectations dotyczące kształtu i schematu danych. Waliduj Expectations pojedynczo, jako część Expectation Suite z Batch Definition lub przy użyciu Validation Definition.

Tworzenie Expectations

Utwórz Expectation dla liczby kolumn

Ocena wyników walidacji

Oczekiwania dotyczące schematu

Tworzenie oczekiwania dotyczącego nazwy kolumny

Tworzenie Expectation dla zakresu kolumn

Tworzenie zestawu Expectations

Tworzenie zestawu oczekiwań (Expectation Suite)

Walidacja zestawu Expectations

Walidacja zestawów oczekiwań

Tworzenie i uruchamianie Validation Definition

Validation Definition a Batch Definition

Definiowanie Expectations

Zdobądź praktyczne umiejętności, które pomogą ci sprawnie pracować z dynamiczną naturą Expectations w rzeczywistych projektach. Wdrażaj Validation Definitions przy użyciu Checkpoints, aktualizuj Expectation Suites oraz ucz się dodawać, pobierać, wyświetlać i usuwać kluczowe komponenty GX.

Wdrażanie definicji walidacji

Sprawdzenie wiedzy

Utwórz Checkpoint

Aktualizacja zestawów oczekiwań

Kopiowanie oczekiwania

Usuń oczekiwanie

Aktualizacja oczekiwania

Zarządzanie komponentami

Dodawanie i listowanie komponentów

Zarządzanie Checkpointem

GX w praktyce

Zanurz się w świat Expectations. Ćwicz tworzenie podstawowych Expectations dla kolumn, Expectations numerycznych na poziomie wierszy i agregacji, Expectations dla łańcuchów tekstowych i ich interpretowalności oraz wiele więcej. Dowiedz się, jak stosować Expectations tylko do wybranych wierszy ramki danych.

Podstawowe oczekiwania dotyczące kolumn

Tworzenie Expectations na poziomie wierszy

Tworzenie Expectations na poziomie agregacji

Oczekiwania specyficzne dla typów danych

Tworzenie oczekiwań numerycznych

Tworzenie Expectations dla ciągów znaków

Oczekiwania warunkowe

Tworzenie warunkowego oczekiwania

Odwróć warunkowe Oczekiwanie

Podsumowanie

Expectations – wszystko, co warto wiedzieć

life_expectancy.csv

weather_new.csv

renewable_new.csv

shein_footwear_clean.csv

movie_dataset.csv

Great Expectations to zaawansowana biblioteka Pythona do monitorowania jakości danych w procesach data science i inżynierii danych. Nauczysz się łączyć z rzeczywistymi zbiorami danych, stosować, edytować i usuwać Expectations, a także budować potoki do walidacji nowych zbiorów danych w środowisku produkcyjnym. Poznasz Expectations dla kolumn numerycznych i tekstowych oraz napiszesz walidacje obejmujące wiele kolumn. Po ukończeniu kursu będziesz bez trudu dbać o to, by twoje dane spełniały wymagania jakościowe.

Great Expectations to potężne narzędzie do monitorowania jakości danych w procesach data science i data engineering. Platformę można łatwo zintegrować z Pythonem, dzięki czemu stanowi przydatną bibliotekę, którą użytkownicy Pythona mogą opanować.

Sercem Great Expectations są Expectations, czyli asercje, które chcesz zweryfikować w swoich danych. Zaczniesz ten kurs od nauki, jak łączyć się z rzeczywistymi zbiorami danych i stosować do nich Expectations. Następnie nauczysz się pobierać, edytować i usuwać Expectations oraz tworzyć pipeline’y do stosowania Expectations w nowych zbiorach danych w środowisku produkcyjnym.

Na koniec poznasz konkretne typy Expectations, takie jak dla kolumn numerycznych i tekstowych, oraz dowiesz się, jak tworzyć Expectations jednej kolumny zależne od wartości innych kolumn.

Po ukończeniu tego kursu będziesz mieć solidne podstawy w bibliotece Python Great Expectations. Będziesz mógł korzystać z podstawowych funkcji platformy, aby monitorować jakość swoich danych, a także używać swoich danych z pewnością, że spełniają one Twoje standardy jakości danych.

Data Manipulation with pandas

Zapewnij wysoką jakość danych w pracy z danymi dzięki bibliotece Great Expectations w Pythonie.

Wprowadzenie do jakości danych z Great Expectations

Zapewnij wysoką jakość danych w workflow data science i data engineering dzięki bibliotece Great Expectations w Pythonie.

Inżynier uczenia maszynowego

Nazwa tekstowa komponentu przechowywana w GX

Obiekt informujący GX, jak połączyć się z określonym zewnętrznym źródłem danych

Powtórzenie pojęć

Wprowadzenie do jakości danych z Great Expectations

Interaktywne ćwiczenie praktyczne