DAG-i w Airflow
W Airflow potok danych jest reprezentowany jako skierowany graf acykliczny (DAG, ang. Directed Acyclic Graph). Węzły grafu odpowiadają zadaniom, które są wykonywane. Skierowane połączenia między węzłami reprezentują zależności między zadaniami.
Przedstawienie potoku danych jako DAG-a jest bardzo wygodne – niektóre zadania muszą się zakończyć, zanim inne będą mogły się rozpocząć. Można to porównać do linii montażowej w fabryce samochodów: zadania następują po sobie, a każde z nich może zależeć od zakończenia poprzednich. Przykładowy DAG może wyglądać tak:
Najpierw montowana jest rama, potem nadwozie i opony, a na końcu samochód jest lakierowany. Teraz odtwórz powyższy przykład w kodzie.
To ćwiczenie jest częścią kursu
Wprowadzenie do inżynierii danych
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
schedule_interval="____")