In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Opérateurs Airflow

Décorer une tâche

Définir un BashOperator avec @task.bash

Définir l’ordre des tâches

Encore plus de @tasks

Programmer des Dags

Planifier un Dag via Python

Intervalles de planification

Déchiffrer les planifications Airflow

Dépanner les exécutions de Dag

Transférer des données entre tâches avec XCom

Transmettre des données avec XCom

Variables XCom

Capteurs Airflow

Ordonnancement des tâches du workflow

Déterminer l’ordre des tâches

Créer un FileSensor

Privation sensorielle

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Monitoring, Alerting, and Callbacks

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

Missing Dag

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Mise à jour vers Apache Airflow 3.1.6 – Livrer des données selon un planning peut vite devenir un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez diverses approches pour répondre à des besoins qui évoluent sans cesse — et c’est encore plus difficile à gérer en équipe. Apache Airflow élimine ce casse-tête en ajoutant la planification, la gestion des erreurs et le reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d’Apache Airflow et apprendrez à mettre en production des pipelines de data engineering complexes. Vous verrez aussi comment utiliser des graphes orientés acycliques (DAGs), automatiser des workflows de data engineering et implémenter des tâches de manière simple et reproductible — de quoi préserver votre sérénité.

Intermediate Python

Introduction to Shell

Apprenez à planifier des workflows de data engineering avec Airflow et DAGs en Python.

Introduction à Apache Airflow en Python

Optimisez vos flux d’ingénierie des données en apprenant à les mettre en œuvre et à les planifier efficacement.

Ingénieur de données en Python

Variables XCom

Introduction à Apache Airflow en Python

Exercice interactif pratique