ÎncepețiÎncepe gratuit

DAG-uri Airflow

În Airflow, o conductă de date (pipeline) este reprezentată ca un graf aciclic direcționat, sau DAG. Nodurile grafului reprezintă sarcinile care sunt executate. Conexiunile direcționate dintre noduri reprezintă dependențele dintre sarcini.

Reprezentarea unei conducte de date ca un DAG are foarte mult sens, deoarece unele sarcini trebuie să se termine înainte ca altele să poată începe. Poți compara acest lucru cu o linie de asamblare dintr-o fabrică de mașini. Sarcinile se construiesc una peste alta, iar fiecare sarcină poate depinde de finalizarea sarcinilor anterioare. Un DAG fictiv ar putea arăta cam așa:

Example DAG

Mai întâi se asamblează șasiul, apoi caroseria și anvelopele, iar la final se face vopsirea. Hai să reproducem exemplul de mai sus în cod.

Acest exercițiu face parte din cursul

Introducere în Data Engineering

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Editează și rulează codul