Comece agoraComece grátis

DAGs no Airflow

No Airflow, um pipeline é representado por um grafo acíclico direcionado, ou DAG. Os nós do grafo representam as tarefas que serão executadas. As conexões direcionadas entre os nós representam as dependências entre as tarefas.

Representar um pipeline de dados como um DAG faz muito sentido, já que algumas tarefas precisam terminar antes que outras possam começar. Você pode comparar isso a uma linha de montagem em uma fábrica de carros. As tarefas vão se acumulando, e cada uma pode depender da conclusão de etapas anteriores. Um DAG fictício poderia ser algo assim:

Example DAG

A montagem do chassi acontece primeiro, depois a carroceria e os pneus e, por fim, a pintura. Vamos reproduzir o exemplo acima em código.

Este exercicio faz parte do curso

Introdução à Engenharia de Dados

Ver curso

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Editar e Executar Código