ComeçarComece de graça

DAGs no Airflow

No Airflow, um pipeline é representado como um Grafo Acíclico Direcionado, ou DAG. Os nós do grafo representam as tarefas que são executadas. As conexões direcionadas entre os nós representam as dependências entre as tarefas.

Representar um pipeline de dados como um DAG faz muito sentido, já que algumas tarefas precisam terminar antes que outras possam começar. Você pode comparar isso a uma linha de montagem em uma fábrica de carros. As tarefas vão se acumulando, e cada uma pode depender da conclusão das anteriores. Um DAG fictício poderia ser algo assim:

Example DAG

A montagem do chassi acontece primeiro, depois a carroceria e os pneus e, por fim, a pintura. Vamos reproduzir o exemplo acima em código.

Este exercício faz parte do curso

Introdução à Engenharia de Dados

Ver curso

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Editar e executar o código