In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Decorating a task

Defining a BashOperator with @task.bash

Define order of Tasks

More @tasks

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

Passing data with XCom

XCom variables

Airflow Sensors

Determining the order of tasks

Creating a FileSensor

Sensory Deprivation

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Supervision, alertes et callbacks

Implémenter une fonction de rappel (callback)

Mettre en œuvre un SmtpNotifier

Que contiennent les journaux ?

Gabarits avec Jinja

Écrire avec Jinja

Remplacer par un modèle

Variables Airflow

La réponse est Variable

Lire une variable en Python

Des variables pas tout à fait correctes

Débogage et résolution de problèmes dans Airflow

Dépannage d’un Dag

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Dag manquant

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Mise à jour vers Apache Airflow 3.1.6 – Livrer des données selon un planning peut vite devenir un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez diverses approches pour répondre à des besoins qui évoluent sans cesse — et c’est encore plus difficile à gérer en équipe. Apache Airflow élimine ce casse-tête en ajoutant la planification, la gestion des erreurs et le reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d’Apache Airflow et apprendrez à mettre en production des pipelines de data engineering complexes. Vous verrez aussi comment utiliser des graphes orientés acycliques (DAGs), automatiser des workflows de data engineering et implémenter des tâches de manière simple et reproductible — de quoi préserver votre sérénité.

Intermediate Python

Introduction to Shell

Apprenez à planifier des workflows de data engineering avec Airflow et DAGs en Python.

Introduction à Apache Airflow en Python

Optimisez vos flux d’ingénierie des données en apprenant à les mettre en œuvre et à les planifier efficacement.

Ingénieur de données en Python

Remplacer par un modèle

Exercice interactif pratique