V této kapitole získáš ucelený přehled o komponentách Apache Airflow a zjistíš, jak a proč je používat.

Úvod do Apache Airflow

Počítadlo DAGů

Spuštění prvního DAGu

Airflow DAGs

Vytvoření jednoduchého DAGu

Práce s DAGy a shellem Airflow

Prozkoumání příkazů Airflow

Testování tasku v Airflow

Webové rozhraní Airflow

Orientace v Airflow UI

Prozkoumání DAGů pomocí Airflow UI

Chyby v Dagu

Úvod do Airflow

Čas ponořit se do základů práce s Airflow DAGy. Prostřednictvím praktických cvičení se naučíš nastavovat a nasazovat operátory, úlohy a plánování.

Operátory v Airflow

Dekorace tasku

Definování BashOperatoru pomocí @task.bash

Definování pořadí tasků

Více @tasks

Plánování DAGů

Naplánování DAGu přes Python

Rozluštění Airflow plánů

Odstraňování problémů se spouštěním DAGů

Předávání dat mezi úlohami pomocí XCom

Předávání dat pomocí XCom

Proměnné XCom

Airflow Sensors

Určení pořadí úloh

Vytvoření FileSensoru

Senzorické strádání

Tvorba DAGů v Airflow

V této kapitole se naučíš šetřit čas pomocí Airflow komponent, jako jsou senzory a exekutory, a zároveň sledovat a ladit Airflow workflow.

Monitoring, upozornění a callbacky

Implementace callback funkce

Implementace SmtpNotifier

Co je v logu?

Šablonování s Jinja

Psaní se šablonami Jinja

Nahrazení cesty

Airflow Variables

Odpověď je Variable

Čtení proměnné v Pythonu

Něco s proměnnými nesedí

Ladění a řešení problémů v Airflow

Ladění DAGů

Chybějící DAG

Údržba a monitoring Airflow workflow

Teď to dáme dohromady. V závěrečné kapitole využiješ vše, co ses naučil/a, a sestavíš produkční workflow v Airflow.

Triggery a odolnost vůči chybám

Implementace pravidla spuštění (Trigger Rule)

Přidání opakovaných pokusů

Spuštění podřízeného dagu

Větvení

Definuj @task.branch

Ladění větvení

Operátor HITL

Přidání lidského schválení

Task s ApprovalOperatorem

Tvorba produkčního pipeline

Sestavení ETL pipeline pro prodejní data

Přidání měsíčního větvení

Přidání brány pro lidské schválení

Gratulujeme!

Řízení logiky DAGů

Aktualizováno pro Apache Airflow 3.1.6 – Doručování dat podle plánu bývá zdlouhavý ruční proces. Píšeš skripty, nastavuješ složité cron úlohy a zkouším různé přístupy, abys splnil/a neustále se měnící požadavky – a to vše je ještě náročnější, když spolupracuješ s týmem. Apache Airflow ti s tím pomůže: přidá do tvých workflow plánování, zpracování chyb a reportování. V tomto kurzu zvládneš základy Apache Airflow a naučíš se implementovat složité datové pipeline v produkčním prostředí. Zjistíš, jak pracovat s Directed Acyclic Graphs (DAGy), automatizovat datové workflow a implementovat datové úlohy snadno a opakovatelně – a konečně si zachovat klid.

Intermediate Python

Introduction to Shell

Naučte se implementovat a plánovat datové toky pomocí Airflow a DAGů v Pythonu.

Úvod do Apache Airflow v Pythonu

Naučte se implementovat a plánovat datové inženýrské workflow.

Airflow Fundamentals

Datový inženýr v Pythonu

Spuštění prvního DAGu

Úvod do Apache Airflow v Pythonu

Interaktivní praktické cvičení