Rendre un pipeline idempotent
Le pipeline d'un collègue ajoute des données de ventes à chaque exécution, ce qui crée des doublons lors des réexécutions et des remplissages rétroactifs. Les tables staging et sales contiennent toutes deux une colonne date (format YYYY-MM-DD).
Votre équipe doit rendre le pipeline idempotent : filtrez la requête de la zone de transit selon la date logique et ajoutez un preoperator pour supprimer les lignes existantes de la table sales.
Cette activité fait partie du cours
Créer des pipelines de données avec Airflow
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice