CommencerCommencez gratuitement

Rendre un pipeline idempotent

Le pipeline d'un collègue ajoute les données de ventes à chaque exécution, donc les réexécutions et les backfills produisent des doublons. Les tables staging et sales ont toutes deux une colonne date (format YYYY-MM-DD).

Votre équipe doit rendre le pipeline idempotent : filtrez la requête de staging par la date logique et ajoutez un preoperator pour supprimer les lignes existantes de la table sales.

Cet exercice fait partie du cours

<cours>Créer des pipelines de données avec Airflow</cours>
Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice