Comece agoraComece grátis

Tornando um pipeline idempotente

O pipeline de um colega acrescenta dados de vendas a cada execução, então reexecuções e backfills geram duplicatas. As tabelas staging e sales têm uma coluna date (formato YYYY-MM-DD).

Sua equipe precisa tornar o pipeline idempotente: filtre a consulta de staging pela data lógica e adicione um preoperator para excluir linhas existentes da tabela sales.

Este exercicio faz parte do curso

Criando Pipelines de Dados com Airflow

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio