शुरू करेंमुफ़्त में शुरू करें

Airflow DAGs

Airflow में, एक पाइपलाइन को Directed Acyclic Graph या DAG के रूप में दर्शाया जाता है। ग्राफ़ के नोड्स वे tasks होते हैं जिन्हें चलाया जाता है। नोड्स के बीच की directed connections, tasks के बीच की dependencies दिखाती हैं.

किसी data pipeline को DAG के रूप में दर्शाना बहुत समझदारी है, क्योंकि कुछ tasks को पूरा होना पड़ता है तभी अन्य शुरू हो सकते हैं। आप इसे कार फैक्ट्री की असेंबली लाइन से तुलना कर सकते हैं। tasks क्रम से बनते हैं, और हर task, पिछले tasks के पूरा होने पर निर्भर हो सकता है। एक काल्पनिक DAG कुछ इस तरह दिख सकता है:

Example DAG

सबसे पहले फ्रेम असेंबल होता है, फिर बॉडी और टायर्स, और अंत में पेंट करते हैं। आइए ऊपर दिए गए उदाहरण को कोड में दोहराते हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Introduction to Data Engineering

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
कोड संपादित करें और चलाएँ