Zacznij terazZacznij za darmo

Airflow DAGs

W Airflow potok danych reprezentowany jest jako graf skierowany acykliczny (Directed Acyclic Graph), czyli DAG. Węzły grafu reprezentują zadania, które są wykonywane. Skierowane połączenia między węzłami przedstawiają zależności między zadaniami.

Przedstawienie potoku danych jako DAG ma sens, ponieważ niektóre zadania muszą się zakończyć, zanim inne będą mogły się zacząć. Możesz to porównać do linii montażowej w fabryce samochodów — zadania układają się jedno na drugim, a każde z nich może zależeć od zakończenia poprzednich. Fikcyjny DAG mógłby wyglądać tak:

Example DAG

Najpierw montujesz ramę, potem karoserię i koła, a na końcu malujesz. Odtwórzmy ten przykład w kodzie.

To ćwiczenie jest częścią kursu

Wprowadzenie do inżynierii danych

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Edytuj i uruchom kod