In diesem Kapitel erhältst du eine vollständige Einführung in die Komponenten von Apache Airflow und erfährst, wie und warum du sie einsetzen solltest.

Einführung in Apache Airflow

Einen Task in Airflow testen

Airflow-Befehle untersuchen

Airflow-DAGs

Creating a simple Dag

Mit DAGs und der Airflow-Shell arbeiten

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

In der Airflow-UI navigieren

DAGs mit der Airflow-UI untersuchen

Dag errors

Einführung in Airflow

Was geht, DAG? Jetzt lernst du die Grundlagen zur Implementierung von Airflow-DAGs. In praktischen Übungen richtest du Operatoren, Tasks und Scheduling ein und setzt sie ein.

Airflow-Operatoren

Eine BashOperator-Task definieren

Mehrere BashOperators

Define order of Tasks

Reihenfolge von BashOperators festlegen

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

EmailOperator und Abhängigkeiten

XCom variables

Airflow Sensors

Airflow-Zeitpläne entschlüsseln

Creating a FileSensor

Sensory Deprivation

Airflow-DAGs implementieren

In diesem Kapitel lernst du, wie du mit Airflow-Komponenten wie Sensoren und Executorn Zeit sparst – während du Airflow-Workflows überwachst und Fehler behebst.

Airflow-Sensoren

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    '____': [____],
    '____': True,
    'email_on_success': ____
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    'email': ['airflowalerts@datacamp.com', 'airflowadmin@datacamp.com'],
    'email_on_failure': True,
    'email_on_success': True
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


Status-E-Mails hinzufügen

Airflow-Workflows warten und überwachen

Jetzt kommt alles zusammen. In diesem letzten Kapitel wendest du alles an, was du gelernt hast, um in Airflow einen produktionsreifen Workflow zu bauen.

Mit Templates arbeiten

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

Verzweigung

Einen BranchPythonOperator definieren

Fehlerbehebung bei Branching

Eine Produktions-Pipeline erstellen

Erstellen einer Produktionspipeline #1

Erstellen einer Produktions-Pipeline #2

Die letzten Änderungen an deiner Pipeline vornehmen

Glückwunsch!

Produktions-Pipelines in Airflow aufbauen

Jetzt aktualisiert auf Apache Airflow 2.7 – Daten nach Zeitplan bereitzustellen, kann ein manueller Prozess sein. Du schreibst Skripte, pflegst komplexe Cron-Jobs und probierst verschiedene Wege aus, um ständig wechselnde Anforderungen zu erfüllen – und im Team wird die Verwaltung noch kniffliger. Apache Airflow nimmt dir diese Kopfschmerzen, indem es deinen Workflows Planung, Fehlerbehandlung und Reporting hinzufügt. In diesem Kurs lernst du die Grundlagen von Apache Airflow und wie du komplexe Data-Engineering-Pipelines produktiv umsetzt. Außerdem lernst du, wie du Directed Acyclic Graphs (DAGs) nutzt, Data-Engineering-Workflows automatisierst und Aufgaben im Data Engineering einfach und wiederholbar implementierst – damit du einen kühlen Kopf bewahrst.

Intermediate Python

Introduction to Shell

Lerne, Daten-Workflows mit Airflow und Python zu planen, Fehler zu behandeln und Berichte zu erstellen.

Einführung in Apache Airflow mit Python

Dieser Kurs zeigt dir, wie du Data-Engineering-Workflows implementierst und planst.

Dateningenieur in Python

What's in the logs?

Interaktive praktische Übung