Tornando um pipeline idempotente
O pipeline de um colega acrescenta dados de vendas a cada execução, então reexecuções e backfills geram duplicatas. As tabelas staging e sales têm uma coluna date (formato YYYY-MM-DD).
Sua equipe precisa tornar o pipeline idempotente: filtre a consulta de staging pela data lógica e adicione um preoperator para excluir linhas existentes da tabela sales.
Este exercicio faz parte do curso
Criando Pipelines de Dados com Airflow
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio