1. Learn
    2. /
  2. Courses
    3. /
  3. Introducere în Data Engineering
Connected

Exercise

DAG-uri în Airflow

În Airflow, un pipeline este reprezentat ca un Graf Aciclic Orientat (Directed Acyclic Graph) sau DAG. Nodurile grafului reprezintă sarcinile care sunt executate. Conexiunile orientate dintre noduri reprezintă dependențele dintre sarcini.

Reprezentarea unui pipeline de date ca un DAG este foarte intuitivă, deoarece unele sarcini trebuie să se finalizeze înainte ca altele să poată începe. Poți compara acest lucru cu o linie de asamblare dintr-o fabrică de mașini. Sarcinile se construiesc unele pe altele, fiecare putând depinde de finalizarea celor anterioare. Un DAG fictiv ar putea arăta astfel:

Example DAG

Asamblarea cadrului are loc prima, apoi caroseria și anvelopele, iar la final se vopsește. Hai să reproducem exemplul de mai sus în cod.

Instructions 1/2

50 XP
    1
    2
  • Mai întâi, DAG-ul trebuie să ruleze în fiecare oră la minutul 0. Completează argumentul schedule_interval folosind notația crontab. De exemplu, în fiecare oră la minutul N s-ar scrie N * * * *. Reține că trebuie să ruleze la minutul 0.