Inizia subitoInizia gratis

Rendere idempotente una pipeline

La pipeline di un collega aggiunge i dati di vendita a ogni esecuzione, quindi i riavvii e i backfill producono duplicati. Sia la tabella staging sia la tabella sales hanno una colonna date (formato YYYY-MM-DD).

Il tuo team deve rendere la pipeline idempotente: filtra la query di staging per la data logica e aggiungi un preoperator per eliminare le righe esistenti dalla tabella sales.

Questo esercizio fa parte del corso

Creare data pipeline con Airflow

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio