Hacer idempotente una canalización
La canalización de una persona del equipo añade datos de ventas en cada ejecución, así que las reejecuciones y los backfills generan duplicados. Tanto las tablas staging como sales tienen una columna date (formato YYYY-MM-DD).
Tu equipo necesita hacer que la canalización sea idempotente: filtra la consulta de staging por la fecha lógica y añade un preoperator para borrar las filas existentes de la tabla sales.
Este ejercicio forma parte del curso
Creación de canalizaciones de datos con Airflow
ejercicio interactivo práctico
Convierte la teoría en práctica con uno de nuestros ejercicios interactivos
Empezar ejercicio