ComeçarComece gratuitamente

Fluxo de ar DAGs

No Airflow, um pipeline é representado como um gráfico acíclico direcionado (Directed Acyclic Graph) ou DAG. Os nós do gráfico representam tarefas que são executadas. As conexões direcionadas entre os nós representam as dependências entre as tarefas.

Representar um pipeline de dados como um DAG faz muito sentido, pois algumas tarefas precisam ser concluídas antes que outras possam começar. Você poderia comparar isso a uma linha de montagem em uma fábrica de automóveis. As tarefas se acumulam e cada tarefa pode depender da conclusão de tarefas anteriores. Um DAG fictício poderia ser mais ou menos assim:

Exemplo DAG

A montagem da estrutura ocorre primeiro, depois a carroceria e os pneus e, por fim, você pinta. Vamos reproduzir o exemplo acima no código.

Este exercício faz parte do curso

Introdução à engenharia de dados

Ver Curso

Exercício interativo prático

Experimente este exercício preenchendo este código de exemplo.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Editar e executar código