BaşlayınÜcretsiz başlayın

Making a pipeline idempotent

A colleague's pipeline appends sales data on every run, so re-runs and backfills produce duplicates. Both the staging and sales tables have a date column (format YYYY-MM-DD).

Your team needs to make the pipeline idempotent: filter the staging query by the logical date, and add a preoperator to delete existing rows from the sales table.

Bu egzersiz, kursun bir parçasıdır

Building Data Pipelines with Airflow

Kursa Göz Atın

Uygulamalı etkileşimli egzersiz

Teoriyi etkileşime dönüştürün, interaktif egzersizlerimizden biriyle

Egzersize başla