In diesem Kapitel erhältst du eine umfassende Einführung in die Komponenten von Apache Airflow und lernst, wie und warum du sie einsetzen solltest.

Einführung in Apache Airflow

Dag-Zähler

Deinen ersten Dag ausführen

Airflow-DAGs

Einen einfachen Dag erstellen

Mit Dags und der Airflow-Shell arbeiten

Airflow-Befehle untersuchen

Einen Task in Airflow testen

Airflow-Weboberfläche

In der Airflow-UI navigieren

Dags mit der Airflow-UI untersuchen

Dag-Fehler

Einführung in Airflow

Was geht, DAG? Jetzt lernst du die Grundlagen der Implementierung von Airflow-DAGs. In praktischen Übungen erfährst du, wie du Operatoren, Aufgaben und Zeitpläne einrichtest und bereitstellst.

Airflow-Operatoren

Einen Task dekorieren

Einen BashOperator mit @task.bash definieren

Reihenfolge der Tasks festlegen

Mehr @tasks

Dags planen

Einen Dag per Python planen

Airflow-Zeitpläne entschlüsseln

Probleme mit Dag-Runs beheben

Daten zwischen Tasks mit XCom übergeben

Daten mit XCom übergeben

XCom-Variablen

Airflow-Sensoren

Reihenfolge von Tasks bestimmen

Einen FileSensor erstellen

Sensorische Deprivation

DAGs in Airflow erstellen

In diesem Kapitel lernst du, wie du mit Airflow-Komponenten wie Sensoren und Executoren Zeit sparst und dabei Airflow-Workflows überwachst und Fehler behebst.

Monitoring, Benachrichtigungen und Callbacks

Eine Callback-Funktion implementieren

Einen SmtpNotifier implementieren

Was steht in den Logs?

Templating mit Jinja

Mit Jinja schreiben

Austauschen

Airflow-Variablen

Die Antwort ist Variable

Eine Variable in Python lesen

Variablen nicht ganz korrekt

Debugging und Fehlerbehebung in Airflow

Dag-Fehlersuche

Fehlender Dag

Airflow-Workflows warten und überwachen

Jetzt alles zusammenführen. In diesem letzten Kapitel setzt du alles Gelernte ein, um einen produktionsreifen Workflow in Airflow zu bauen.

Trigger und Fehlertoleranz

Eine Trigger-Regel implementieren

Retries hinzufügen

Einen Child-Dag auslösen

Verzweigungen

Definiere ein @task.branch

Fehlerbehebung bei Branches

Der HITL-Operator

Menschliche Freigabe hinzufügen

ApprovalOperator-Task

Eine Produktions-Pipeline erstellen

Die Sales-ETL-Pipeline einrichten

Monatliches Branching hinzufügen

Einen manuellen Freigabeschritt hinzufügen

Glückwunsch!

DAG-Logik steuern

Jetzt aktualisiert auf Apache Airflow 3.1.6 – Daten nach Zeitplan zu liefern, kann ein manueller Kraftakt sein. Du schreibst Skripte, ergänzt komplexe Cron-Jobs und versuchst auf verschiedene Arten, wechselnde Anforderungen zu erfüllen – und im Team alles zu managen, ist noch schwieriger. Apache Airflow nimmt dir diese Kopfschmerzen ab, indem es deinen Workflows Planung, Fehlermanagement und Reporting hinzufügt. In diesem Kurs lernst du die Grundlagen von Apache Airflow und wie du komplexe Data-Engineering-Pipelines produktiv umsetzt. Außerdem erfährst du, wie du Directed Acyclic Graphs (DAGs) nutzt, Data-Engineering-Workflows automatisierst und Aufgaben einfach und wiederholbar implementierst – damit du einen kühlen Kopf behältst.

Intermediate Python

Introduction to Shell

Lerne, Daten-Workflows mit Airflow und Python zu planen, Fehler zu behandeln und Berichte zu erstellen.

Einführung in Apache Airflow mit Python

Dieser Kurs zeigt dir, wie du Data-Engineering-Workflows implementierst und planst.

Airflow Fundamentals

Dateningenieur in Python

Dag-Zähler

Interaktive praktische Übung