Rendere idempotente una pipeline
La pipeline di un collega aggiunge i dati di vendita a ogni esecuzione, quindi i riavvii e i backfill producono duplicati. Sia la tabella staging sia la tabella sales hanno una colonna date (formato YYYY-MM-DD).
Il tuo team deve rendere la pipeline idempotente: filtra la query di staging per la data logica e aggiungi un preoperator per eliminare le righe esistenti dalla tabella sales.
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio