Dans ce chapitre, vous découvrirez en profondeur les composants d’Apache Airflow et apprendrez comment et pourquoi les utiliser.

Introduction à Apache Airflow

Compteur de Dags

Exécuter votre premier Dag

DAGs Airflow

Créer un Dag simple

Manipuler les Dags et le shell Airflow

Examiner les commandes Airflow

Tester une tâche dans Airflow

Interface web d’Airflow

Naviguer dans l’interface Airflow

Examiner des Dags avec l’interface Airflow

Erreurs de Dag

Introduction à Airflow

Quoi de neuf, DAG ? Il est temps d’apprendre les bases de l’implémentation des DAGs Airflow. À travers des activités pratiques, vous verrez comment configurer et déployer des opérateurs, des tâches et la planification.

Opérateurs Airflow

Décorer une tâche

Définir un BashOperator avec @task.bash

Définir l’ordre des tâches

Encore plus de @tasks

Programmer des Dags

Planifier un Dag via Python

Déchiffrer les planifications Airflow

Dépanner les exécutions de Dag

Transférer des données entre tâches avec XCom

Transmettre des données avec XCom

Variables XCom

Capteurs Airflow

Déterminer l’ordre des tâches

Créer un FileSensor

Privation sensorielle

Créer des DAGs dans Airflow

Dans ce chapitre, vous apprendrez à gagner du temps grâce à des composants Airflow comme les capteurs et les exécuteurs, tout en surveillant et en dépannant vos workflows Airflow.

Supervision, alertes et callbacks

Implémenter une fonction de rappel (callback)

Mettre en œuvre un SmtpNotifier

Que contiennent les journaux ?

Gabarits avec Jinja

Écrire avec Jinja

Remplacer par un modèle

Variables Airflow

La réponse est Variable

Lire une variable en Python

Des variables pas tout à fait correctes

Débogage et résolution de problèmes dans Airflow

Dépannage d’un Dag

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Dag manquant

Maintenir et surveiller les workflows Airflow

Rassemblez le tout. Dans ce dernier chapitre, vous mettrez en pratique tout ce que vous avez appris pour construire un workflow de qualité production dans Airflow.

Déclencheurs et tolérance aux pannes

Implémenter une règle de déclenchement

Ajouter des relances (retries)

Déclencher un Dag enfant

Branchement

Définir un @task.branch

Dépannage de branchement

L’opérateur HITL

Ajouter une approbation humaine

Tâche ApprovalOperator

Créer un pipeline de production

Mise en place du pipeline ETL des ventes

Ajouter une branche mensuelle

Ajouter une étape d’approbation humaine

Félicitations !

Contrôler la logique des DAGs

Mise à jour vers Apache Airflow 3.1.6 – Livrer des données selon un planning peut vite devenir un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez diverses approches pour répondre à des besoins qui évoluent sans cesse — et c’est encore plus difficile à gérer en équipe. Apache Airflow élimine ce casse-tête en ajoutant la planification, la gestion des erreurs et le reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d’Apache Airflow et apprendrez à mettre en production des pipelines de data engineering complexes. Vous verrez aussi comment utiliser des graphes orientés acycliques (DAGs), automatiser des workflows de data engineering et implémenter des tâches de manière simple et reproductible — de quoi préserver votre sérénité.

Intermediate Python

Introduction to Shell

Apprenez à planifier des workflows de data engineering avec Airflow et DAGs en Python.

Introduction à Apache Airflow en Python

Optimisez vos flux d’ingénierie des données en apprenant à les mettre en œuvre et à les planifier efficacement.

Ingénieur de données en Python

La réponse est Variable

Exercice interactif pratique