ÎncepețiÎncepe gratuit

DAG-uri în Airflow

În Airflow, un pipeline este reprezentat ca un Graf Aciclic Orientat (Directed Acyclic Graph) sau DAG. Nodurile grafului reprezintă sarcinile care sunt executate. Conexiunile orientate dintre noduri reprezintă dependențele dintre sarcini.

Reprezentarea unui pipeline de date ca un DAG este foarte intuitivă, deoarece unele sarcini trebuie să se finalizeze înainte ca altele să poată începe. Poți compara acest lucru cu o linie de asamblare dintr-o fabrică de mașini. Sarcinile se construiesc unele pe altele, fiecare putând depinde de finalizarea celor anterioare. Un DAG fictiv ar putea arăta astfel:

Example DAG

Asamblarea cadrului are loc prima, apoi caroseria și anvelopele, iar la final se vopsește. Hai să reproducem exemplul de mai sus în cod.

Acest exercițiu face parte din cursul

Introducere în Data Engineering

Vezi cursul

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Editează și rulează codul