Rendre un pipeline idempotent
Le pipeline d'un collègue ajoute les données de ventes à chaque exécution, donc les réexécutions et les backfills produisent des doublons. Les tables staging et sales ont toutes deux une colonne date (format YYYY-MM-DD).
Votre équipe doit rendre le pipeline idempotent : filtrez la requête de staging par la date logique et ajoutez un preoperator pour supprimer les lignes existantes de la table sales.
Cet exercice fait partie du cours
<cours>Créer des pipelines de données avec Airflow</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice