Dans ce chapitre, vous obtiendrez une présentation complète des composantes d'Apache Airflow et apprendrez comment et pourquoi les utiliser.

Introduction à Apache Airflow

Compteur de Dags

Exécuter votre premier Dag

DAG Airflow

Créer un Dag simple

Travailler avec les Dags et l'invite de commandes d'Airflow

Examiner les commandes d'Airflow

Tester une tâche dans Airflow

Interface Web d'Airflow

Parcourir l'interface Airflow

Examiner des Dags avec l'interface Airflow

Erreurs de Dag

Introduction à Airflow

Quoi de neuf, DAG? Il est temps d'apprendre les bases pour créer des DAG Airflow. Au moyen d'exercices pratiques, vous verrez comment configurer et déployer des opérateurs, des tâches et l'ordonnancement.

Opérateurs Airflow

Décorer une tâche

Définir un BashOperator avec @task.bash

Définir l'ordre des tâches

Plus de @tasks

Planifier des Dags

Planifier un Dag en Python

Déchiffrer les horaires Airflow

Dépannage des exécutions de Dag

Transférer des données entre les tâches avec XCom

Transmission de données avec XCom

Variables XCom

Capteurs Airflow

Déterminer l'ordre des tâches

Créer un FileSensor

Privation sensorielle

Créer des DAG dans Airflow

Dans ce chapitre, vous apprendrez à vous faire gagner du temps grâce à des composantes Airflow comme les capteurs et les exécuteurs, tout en surveillant et en dépannant des flux Airflow.

Surveillance, alertes et fonctions de rappel

Implémenter une fonction de rappel

Implémenter un SmtpNotifier

Que contiennent les journaux?

Gabarits avec Jinja

Écrire avec Jinja

Remplacer par substitution

Variables Airflow

La réponse est Variable

Lire une variable en Python

Variables pas tout à fait justes

Débogage et dépannage dans Airflow

Dépannage d'un Dag

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Dag manquant

Maintenir et surveiller les flux Airflow

Assemblez le tout. Dans ce dernier chapitre, vous mettrez en pratique tout ce que vous avez appris pour bâtir un flux de travail de qualité production dans Airflow.

Déclencheurs et tolérance aux pannes

Implémenter une règle de déclenchement

Ajouter des nouvelles tentatives

Déclencher un Dag enfant

Branchement

Définir un @task.branch

Dépannage de branchement

L'opérateur HITL

Ajouter une approbation humaine

Tâche ApprovalOperator

Créer un pipeline de production

Mise en place du pipeline ETL des ventes

Ajouter une bifurcation mensuelle

Ajouter une étape d'approbation humaine

Félicitations !

Contrôler la logique d'un DAG

Maintenant mis à jour vers Apache Airflow 3.1.6 – Livrer des données selon un horaire peut être un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et essayez différentes approches pour répondre à des exigences qui changent constamment — et c'est encore plus difficile à gérer quand vous travaillez en équipe. Apache Airflow peut vous simplifier la vie en ajoutant l'ordonnancement, la gestion des erreurs et la création de rapports à vos flux de travail. Dans ce cours, vous maîtriserez les bases d'Apache Airflow et apprendrez à mettre en œuvre des pipelines d'ingénierie des données complexes en production. Vous verrez aussi comment utiliser des graphes orientés acycliques (DAG), automatiser des flux d'ingénierie des données et déployer des tâches de manière simple et répétable — de quoi vous garder l'esprit tranquille.

Intermediate Python

Introduction to Shell

Apprenez à planifier des flux de travail en ingénierie des données avec Airflow et DAGs en Python.

Introduction à Apache Airflow en Python

Apprenez à mettre en œuvre et planifier des flux de travail d’ingénierie des données.

Airflow Fundamentals

Ingénieur de données en Python

Data Engineer

Cycle de vie d'un Dag

Rappels (callbacks)

Contexte du rappel

Exemple de rappel

Notifiers

SmtpNotifier

Journal d'audit

Passons à la pratique !

Maintenir et surveiller les flux Airflow - Surveillance, alertes et fonctions de rappel

Surveillance, alertes et fonctions de rappel

Create Your Free Account