In diesem Kapitel erhältst du eine vollständige Einführung in die Komponenten von Apache Airflow und erfährst, wie und warum du sie einsetzen solltest.

Einführung in Apache Airflow

Einen Task in Airflow testen

Airflow-Befehle untersuchen

Airflow-DAGs

Einen einfachen DAG definieren

Mit DAGs und der Airflow-Shell arbeiten

from airflow import DAG

default_args = {
  'owner': 'jdoe',
  'start_date': '2023-01-01'
}
with DAG("etl_update",
         default_args=default_args
        ):
    pass

____

default_args = {
  'owner': 'jdoe',
  'email': 'jdoe@datacamp.com'
}
with DAG( 'refresh_data', 
          default_args=default_args 
        ):
    pass

from airflow import DAG

default_args = {
  'owner': 'jdoe',
  'email': 'jdoe@datacamp.com'
}
with DAG( 'refresh_data', 
          default_args=default_args 
        ):
    pass

Fehlerbehebung bei der DAG-Erstellung

Airflow-Weboberfläche

Den Airflow-Webserver starten

In der Airflow-UI navigieren

DAGs mit der Airflow-UI untersuchen

Einführung in Airflow

Was geht, DAG? Jetzt lernst du die Grundlagen zur Implementierung von Airflow-DAGs. In praktischen Übungen richtest du Operatoren, Tasks und Scheduling ein und setzt sie ein.

Airflow-Operatoren

Eine BashOperator-Task definieren

Mehrere BashOperators

Airflow-Aufgaben

Reihenfolge von BashOperators festlegen

Die Reihenfolge von Tasks bestimmen

Fehlerbehebung bei DAG-Abhängigkeiten

Weitere Operatoren

Verwendung des PythonOperator

Weitere PythonOperators

EmailOperator und Abhängigkeiten

Airflow-Scheduling

Einen DAG per Python planen

Airflow-Zeitpläne entschlüsseln

Fehlerbehebung bei DAG-Runs

Airflow-DAGs implementieren

In diesem Kapitel lernst du, wie du mit Airflow-Komponenten wie Sensoren und Executorn Zeit sparst – während du Airflow-Workflows überwachst und Fehler behebst.

Airflow-Sensoren

Sensoren vs. Operatoren

Sensorentzug

Airflow-Executors

Den Executor bestimmen

Auswirkungen des Executors

Debugging und Fehlerbehebung in Airflow

DAGs im Sack

Fehlender DAG

SLAs und Reporting in Airflow

Eine SLA definieren

Eine Task-SLA definieren

Einen Bericht erstellen und per E-Mail versenden

Status-E-Mails hinzufügen

Airflow-Workflows warten und überwachen

Jetzt kommt alles zusammen. In diesem letzten Kapitel wendest du alles an, was du gelernt hast, um in Airflow einen produktionsreifen Workflow zu bauen.

Mit Templates arbeiten

Einen templated BashOperator erstellen

Templates mit mehreren Argumenten

Mehr Vorlagen

Listen mit Templates verwenden

Parameteroptionen verstehen

Vorlagenbasierte E-Mails senden

Verzweigung

Einen BranchPythonOperator definieren

Fehlerbehebung bei Branching

Eine Produktions-Pipeline erstellen

Eine produktionsreife Pipeline erstellen #1

Eine produktionsreife Pipeline erstellen #2

Die letzten Änderungen an deiner Pipeline vornehmen

Glückwunsch!

Produktions-Pipelines in Airflow aufbauen

Jetzt aktualisiert auf Apache Airflow 2.7 – Daten nach Zeitplan bereitzustellen, kann ein manueller Prozess sein. Du schreibst Skripte, pflegst komplexe Cron-Jobs und probierst verschiedene Wege aus, um ständig wechselnde Anforderungen zu erfüllen – und im Team wird die Verwaltung noch kniffliger. Apache Airflow nimmt dir diese Kopfschmerzen, indem es deinen Workflows Planung, Fehlerbehandlung und Reporting hinzufügt. In diesem Kurs lernst du die Grundlagen von Apache Airflow und wie du komplexe Data-Engineering-Pipelines produktiv umsetzt. Außerdem lernst du, wie du Directed Acyclic Graphs (DAGs) nutzt, Data-Engineering-Workflows automatisierst und Aufgaben im Data Engineering einfach und wiederholbar implementierst – damit du einen kühlen Kopf bewahrst.

Intermediate Python

Introduction to Shell

Lerne, Daten-Workflows mit Airflow und Python zu planen, Fehler zu behandeln und Berichte zu erstellen.

Einführung in Apache Airflow mit Python

Dieser Kurs zeigt dir, wie du Data-Engineering-Workflows implementierst und planst.

Dateningenieur in Python

In der Airflow-UI navigieren

Einführung in Apache Airflow mit Python

Interaktive Übung