In dit hoofdstuk maak je kennis met alle onderdelen van Apache Airflow en leer je hoe en waarom je ze gebruikt.

Introductie tot Apache Airflow

Dag-teller

Je eerste Dag uitvoeren

Airflow-dags

Een eenvoudige Dag maken

Werken met Dags en de Airflow-shell

Airflow-commando's bekijken

Een taak testen in Airflow

Airflow-webinterface

Navigeren in de Airflow-UI

Dags bekijken met de Airflow UI

Dag-fouten

Introductie tot Airflow

What’s up Dag? Tijd om de basis te leren van het implementeren van Airflow Dags. Met praktische oefeningen leer je operators, taken en planning opzetten en deployen.

Airflow-operators

Een taak decoreren

Een BashOperator definiëren met @task.bash

Volgorde van taken definiëren

Meer @tasks

Dags plannen

Plan een Dag via Python

Airflow-schema’s ontcijferen

Problemen met Dag-runs oplossen

Gegevens uitwisselen tussen taken met XCom

Gegevens doorgeven met XCom

XCom-variabelen

Airflow-sensors

De volgorde van taken bepalen

Een FileSensor maken

Zintuiglijke deprivatie

Dags bouwen in Airflow

In dit hoofdstuk leer je tijd besparen met Airflow-onderdelen zoals sensors en executors, terwijl je Airflow-workflows monitort en problemen oplost.

Monitoren, alerteren en callbacks

Een callbackfunctie implementeren

Een SmtpNotifier implementeren

Wat staat er in de logs?

Templating met Jinja

Schrijven met Jinja

Vervangen

Airflow-variabelen

Het antwoord is Variable

Een variabele uitlezen in Python

Variabelen kloppen net niet

Debuggen en problemen oplossen in Airflow

Probleemoplossing voor Dags

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Ontbrekende Dag

Airflow-workflows beheren en monitoren

Breng alles samen. In dit laatste hoofdstuk pas je alles wat je hebt geleerd toe om een workflow van productiekwaliteit in Airflow te bouwen.

Triggers en fouttolerantie

Een Trigger Rule implementeren

Retries toevoegen

Een child-Dag triggeren

Vertakken

Definieer een @task.branch

Problemen met vertakkingen oplossen

De HITL-operator

Menselijke goedkeuring toevoegen

ApprovalOperator-taak

Een productie-pijplijn bouwen

De sales-ETL-pijplijn opzetten

Maandelijkse branching toevoegen

Een handmatige goedkeuringsstap toevoegen

Gefeliciteerd!

Dag-logica aansturen

Nu bijgewerkt naar Apache Airflow 3.1.6 - Gegevens volgens een schema leveren kan handmatig en omslachtig zijn. Je schrijft scripts, voegt complexe cron-taken toe en probeert op allerlei manieren te voldoen aan steeds veranderende eisen—en samenwerken met teamgenoten maakt het nóg lastiger om alles te beheren. Apache Airflow neemt je deze zorg uit handen door planning, foutafhandeling en rapportage aan je workflows toe te voegen. In deze cursus leer je de basis van Apache Airflow en hoe je complexe data-engineeringpijplijnen in productie implementeert. Je leert ook hoe je Directed Acyclic Graphs (Dags) gebruikt, data-engineeringworkflows automatiseert en data-engineeringtaken eenvoudig en herhaalbaar uitvoert—zodat je het overzicht bewaart.

Intermediate Python

Introduction to Shell

Leer workflows voor data-engineering te plannen met Airflow en Python voor planning en foutafhandeling.

Introductie tot Apache Airflow in Python

Leer hoe u data-engineeringworkflows implementeert en plant.

Data-engineer in Python

Probleemoplossing voor Dags

Introductie tot Apache Airflow in Python

Interactieve oefening met praktijkervaring