W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.

Wprowadzenie do Apache Airflow

Licznik DAG-ów

Uruchamianie pierwszego DAG-a

DAG-i w Airflow

Tworzenie prostego DAG-a

Praca z DAG-ami i powłoką Airflow

Analiza poleceń Airflow

Testowanie zadania w Airflow

Interfejs webowy Airflow

Nawigacja po interfejsie Airflow

Przeglądanie DAG-ów w interfejsie Airflow

Błędy Dag

Wprowadzenie do Airflow

Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.

Operatory Airflow

Dekorowanie zadania

Definiowanie BashOperatora za pomocą @task.bash

Definiowanie kolejności zadań

Więcej dekoratorów @task

Planowanie DAG-ów

Harmonogramowanie DAG-a w Pythonie

Rozszyfruj harmonogramy Airflow

Rozwiązywanie problemów z uruchomieniami DAG-a

Przekazywanie danych między zadaniami za pomocą XCom

Przekazywanie danych za pomocą XCom

Zmienne XCom

Sensory Airflow

Określanie kolejności zadań

Tworzenie FileSensora

Deprywacja sensoryczna

Budowanie DAG-ów w Airflow

W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.

Monitorowanie, alerty i wywołania zwrotne

Implementacja funkcji zwrotnej

Implementacja SmtpNotifier

Co kryją logi?

Szablony z Jinja

Szablony Jinja w praktyce

Zmiana szablonu

Zmienne Airflow

Odpowiedź to zmienna

Odczytywanie zmiennej w Pythonie

Nieprawidłowe zmienne

Debugowanie i rozwiązywanie problemów w Airflow

Rozwiązywanie problemów z DAG-iem

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Zaginiony DAG

Utrzymanie i monitorowanie przepływów pracy w Airflow

Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.

Wyzwalacze i odporność na błędy

Implementacja reguły wyzwalania

Dodawanie ponownych prób

Wyzwalanie podrzędnego DAGa

Rozgałęzianie

Definiowanie @task.branch

Rozwiązywanie problemów z rozgałęzianiem

Operator HITL

Dodawanie ludzkiego zatwierdzenia

Zadanie ApprovalOperator

Tworzenie potoku produkcyjnego

Konfigurowanie potoku ETL dla działu sprzedaży

Dodawanie miesięcznego rozgałęzienia

Dodawanie bramki zatwierdzenia przez człowieka

Gratulacje!

Sterowanie logiką DAG-ów

Zaktualizowano do Apache Airflow 3.1.6 – dostarczanie danych według harmonogramu bywa żmudnym zadaniem. Piszesz skrypty, konfigurujesz skomplikowane zadania cron i próbujesz różnych sposobów, żeby sprostać ciągle zmieniającym się wymaganiom – a zarządzanie tym wszystkim w zespole to jeszcze większe wyzwanie. Apache Airflow eliminuje ten problem, dodając do twoich przepływów pracy harmonogramowanie, obsługę błędów i raportowanie. W tym kursie opanujesz podstawy Apache Airflow i nauczysz się budować złożone potoki inżynierii danych gotowe do wdrożenia produkcyjnego. Dowiesz się też, jak korzystać z grafów acyklicznych (DAG-ów), automatyzować przepływy pracy związane z inżynierią danych i realizować zadania w prosty, powtarzalny sposób – tak, żeby zachować porządek i kontrolę.

Intermediate Python

Introduction to Shell

Ucz się wdrażać i planować przepływy danych z Airflow, obsługą błędów i raportowaniem w Pythonie.

Wprowadzenie do Apache Airflow w Pythonie

Naucz się wdrażać i planować harmonogramy przepływów pracy inżynierii danych.

Airflow Fundamentals

Inżynier danych w Pythonie

Data Engineer

Cykl życia DAG-a

Wywołania zwrotne

Kontekst wywołania zwrotnego

Przykład wywołania zwrotnego

Notyfikatory

SmtpNotifier

Dziennik audytu

Czas na ćwiczenia!

Utrzymanie i monitorowanie przepływów pracy w Airflow - Monitorowanie, alerty i wywołania zwrotne

Monitorowanie, alerty i wywołania zwrotne

Create Your Free Account