W tym rozdziale poznasz komponenty Apache Airflow i dowiesz się, jak oraz dlaczego warto z nich korzystać.

Wprowadzenie do Apache Airflow

Licznik DAG-ów

Uruchamianie pierwszego DAG-a

DAG-i w Airflow

Tworzenie prostego DAG-a

Praca z DAG-ami i powłoką Airflow

Analiza poleceń Airflow

Testowanie zadania w Airflow

Interfejs webowy Airflow

Nawigacja po interfejsie Airflow

Przeglądanie DAG-ów w interfejsie Airflow

Błędy Dag

Wprowadzenie do Airflow

Czas poznać podstawy implementacji DAG-ów w Airflow. Dzięki praktycznym ćwiczeniom nauczysz się konfigurować i wdrażać operatory, zadania i harmonogramy.

Operatory Airflow

Dekorowanie zadania

Definiowanie BashOperatora za pomocą @task.bash

Definiowanie kolejności zadań

Więcej dekoratorów @task

Planowanie DAG-ów

Harmonogramowanie DAG-a w Pythonie

Rozszyfruj harmonogramy Airflow

Rozwiązywanie problemów z uruchomieniami DAG-a

Przekazywanie danych między zadaniami za pomocą XCom

Przekazywanie danych za pomocą XCom

Zmienne XCom

Sensory Airflow

Określanie kolejności zadań

Tworzenie FileSensora

Deprywacja sensoryczna

Budowanie DAG-ów w Airflow

W tym rozdziale dowiesz się, jak oszczędzać czas dzięki komponentom Airflow, takim jak sensory i executory, a także jak monitorować przepływy pracy i rozwiązywać problemy.

Monitorowanie, alerty i wywołania zwrotne

Implementacja funkcji zwrotnej

Implementacja SmtpNotifier

Co kryją logi?

Szablony z Jinja

Szablony Jinja w praktyce

Zmiana szablonu

Zmienne Airflow

Odpowiedź to zmienna

Odczytywanie zmiennej w Pythonie

Nieprawidłowe zmienne

Debugowanie i rozwiązywanie problemów w Airflow

Rozwiązywanie problemów z DAG-iem

Zaginiony DAG

Utrzymanie i monitorowanie przepływów pracy w Airflow

Czas połączyć wszystko w całość. W tym ostatnim rozdziale zastosujesz zdobytą wiedzę, żeby zbudować produkcyjny przepływ pracy w Airflow.

Wyzwalacze i odporność na błędy

Implementacja reguły wyzwalania

Dodawanie ponownych prób

Wyzwalanie podrzędnego DAGa

Rozgałęzianie

Definiowanie @task.branch

Rozwiązywanie problemów z rozgałęzianiem

Operator HITL

Dodawanie ludzkiego zatwierdzenia

Zadanie ApprovalOperator

Tworzenie potoku produkcyjnego

# Imports
from airflow.sdk import ____, ____, ____
from airflow.providers.standard.sensors.filesystem import ____
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='____',
  on_success_callback=____(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.____}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
    
  initialized = initialize()
  initialized >> filewatcher
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
      
  initialized = initialize()
  initialized >> filewatcher 
  
sales_etl()

Konfigurowanie potoku ETL dla działu sprzedaży

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @____
  def validate_data():
    sales_path = Variable.____('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = '____'
    if '-09-' in sales_path:
      next_task = '____'
    return next_task
  
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >> validated
  
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >> validated
  
  
sales_etl()

Dodawanie miesięcznego rozgałęzienia

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier
from airflow.providers.standard.operators.hitl import ____

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  @task
  def regular_monthly_task():
    print(f'Processing data and automatically updating dataset')
    
  yearend_approval_task = ____(
    task_id="____",
    subject="Sales data processing - Approval Required",
    body=(
            "Please review the sales data produced by the *validate_data* task "
            "on {{ds}}."
            "Approve to push to the data warehouse, or Reject to halt the run."
    ),
  )
  
  @task
  def push_to_warehouse():
    print(f'Pushing processed data to warehouse')
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >>validated
  
  validated >> [regular_monthly_task(), ____] >> push_to_warehouse()
  
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier
from airflow.providers.standard.operators.hitl import ApprovalOperator

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  @task
  def regular_monthly_task():
    print(f'Processing data and automatically updating dataset')
    
  yearend_approval_task = ApprovalOperator(
    task_id="yearend_approval_task",
    subject="Sales data processing - Approval Required",
    body=(
            "Please review the sales data produced by the *validate_data* task "
            "on {{ds}}."
            "Approve to push to the data warehouse, or Reject to halt the run."
    ),
  )
  
  @task
  def push_to_warehouse():
    print(f'Pushing processed data to warehouse')
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >>validated
  
  validated >> [regular_monthly_task(), yearend_approval_task] >> push_to_warehouse()
  
  
sales_etl()

Dodawanie bramki zatwierdzenia przez człowieka

Gratulacje!

Sterowanie logiką DAG-ów

Zaktualizowano do Apache Airflow 3.1.6 – dostarczanie danych według harmonogramu bywa żmudnym zadaniem. Piszesz skrypty, konfigurujesz skomplikowane zadania cron i próbujesz różnych sposobów, żeby sprostać ciągle zmieniającym się wymaganiom – a zarządzanie tym wszystkim w zespole to jeszcze większe wyzwanie. Apache Airflow eliminuje ten problem, dodając do twoich przepływów pracy harmonogramowanie, obsługę błędów i raportowanie. W tym kursie opanujesz podstawy Apache Airflow i nauczysz się budować złożone potoki inżynierii danych gotowe do wdrożenia produkcyjnego. Dowiesz się też, jak korzystać z grafów acyklicznych (DAG-ów), automatyzować przepływy pracy związane z inżynierią danych i realizować zadania w prosty, powtarzalny sposób – tak, żeby zachować porządek i kontrolę.

Intermediate Python

Introduction to Shell

Ucz się wdrażać i planować przepływy danych z Airflow, obsługą błędów i raportowaniem w Pythonie.

Wprowadzenie do Apache Airflow w Pythonie

Naucz się wdrażać i planować harmonogramy przepływów pracy inżynierii danych.

Airflow Fundamentals

Inżynier danych w Pythonie

Zadanie ApprovalOperator

Wprowadzenie do Apache Airflow w Pythonie

Interaktywne ćwiczenie praktyczne