Začněte nyníZačněte zdarma

Domů
Kurzy
Tvorba datových pipeline s Airflow

Organizace složitých DAGů pomocí Task Groups

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Toto cvičení je součástí kurzu

Tvorba datových pipeline s Airflow

SkillTag.level.advancedSkillTag.label

4.7+

Začněte kurz zdarma

Začneš seznámením s komponentami Airflow, napíšeš své první DAGy pomocí TaskFlow API a naučíš se předávat data mezi tasky pomocí XCom.

Exercise 1: Základní koncepty Airflow Exercise 2: Vytvoření minimálního TaskFlow Dagu Exercise 3: Přiřazení komponent Airflow k jejich rolím Exercise 4: TaskFlow API Exercise 5: Převod klasického DAGu na TaskFlow Exercise 6: Přidání tasku a propojení závislostí Exercise 7: Prozkoumání pipeline v Airflow UI Exercise 8: Sdílení dat mezi tasky Exercise 9: Návratové hodnoty funkce v TaskFlow Exercise 10: Propojení klasického operátoru s TaskFlow taskem Exercise 11: Omezení XCom

Dále spustíš tasky paralelně pomocí dynamic task mappingu, budeš plánovat DAGy na základě dat s využitím Assets a přidáš kroky pro lidské schválení.

Exercise 1: Dynamické mapování úloh Exercise 2: Zpracování více endpointů pomocí expand Exercise 3: Oprava sdíleného parametru pomocí partial Exercise 4: Párování vstupů pomocí zip Exercise 5: Plánování podle dat pomocí Assets Exercise 6: Signalizace dostupnosti dat pomocí Asset outlet Exercise 7: Naplánování consumer DAGu na Asset Exercise 8: Asset-based scheduling v praxi Exercise 9: Šablonování, idempotence a backfilling Exercise 10: Šablonování závislé na datu Exercise 11: Jak udělat pipeline idempotentní Exercise 12: Spuštění backfillu Exercise 13: Pracovní postupy s lidským dohledem Exercise 14: Sbírání vstupu z formuláře pomocí HITLEntryOperator Exercise 15: Reakce na požadovanou akci v UI Exercise 16: Větvení s HITLBranchOperator

V této kapitole se naučíš zvládat selhání pomocí opakovaných pokusů a callbacků, šetřit prostředky s deferrable sensors a testovat DAGy na třech úrovních.

Exercise 1: Robustní DAGy se zpracováním chyb a opakováním pokusů Exercise 2: Konfigurace opakovaných pokusů s exponenciálním backoffem Exercise 3: Automatické pozastavení DAGu při selhání Exercise 4: Volba správné strategie při selhání Exercise 5: Deferrable operátory Exercise 6: Konfigurace senzoru pro produkci Exercise 7: Převod senzoru do deferrable režimu Exercise 8: Kdy použít poke, reschedule, nebo deferrable Exercise 9: Testování kódu v Airflow Exercise 10: Psaní integračního testu pro DAG Exercise 11: Unit testování funkce tasku Exercise 12: Integrační testování s dag.test()Exercise 13: Organizace složitých DAGů pomocí Task Groups

Aktuální cvičení

Exercise 14: Seskupování souvisejících úloh Exercise 15: Vnořování skupin úloh s názvy pro zobrazení Exercise 16: Organizace úloh podle domény

V závěrečné kapitole sestavíš SQL ETL pipeline na DuckDB, přidáš plánování zohledňující partition pomocí Asset Partitions a vložíš kontroly kvality dat.

Exercise 1: Spouštění SQL úloh Exercise 2: Agregace prodejních dat pomocí SQL Exercise 3: Parametrizace SQL a přesun dotazů do souborů Exercise 4: Jak bezpečně pracovat s uživatelským vstupem Exercise 5: Plánování s ohledem na partitions pomocí Asset Partitions Exercise 6: Vytvoření particionovaného pipeline Exercise 7: Plánování na základě rozdělených assetů Exercise 8: Sledování, jak partitioned assety spouštějí navazující Dag Exercise 9: Kontrola kvality dat Exercise 10: Kontrola kvality na úrovni sloupců Exercise 11: Přidání kontrol na úrovni tabulky Exercise 12: Zachycení datových problémů se správným operátorem Exercise 13: Od vývoje k produkci Exercise 14: Spuštění pipeline z CLI Exercise 15: Doplnění historických dat (backfill)Exercise 16: Výzvy produkčního prostředí s Airflow Exercise 17: Gratulujeme!