शुरू करेंमुफ़्त में शुरू करें

Airflow DAGs

Airflow में, किसी पाइपलाइन को Directed Acyclic Graph या DAG के रूप में दर्शाया जाता है। ग्राफ़ के नोड्स उन tasks का प्रतिनिधित्व करते हैं जो चलाए जाते हैं। नोड्स के बीच directed connections tasks के बीच dependencies को दर्शाते हैं.

किसी data pipeline को DAG के रूप में दर्शाना बहुत तार्किक है, क्योंकि कुछ tasks को ख़त्म होना होता है तभी दूसरे शुरू हो सकते हैं। आप इसे एक कार फ़ैक्टरी की assembly line से तुलना कर सकते हैं। Tasks एक-दूसरे पर बनते जाते हैं, और हर task पहले के पूरे हुए tasks पर निर्भर हो सकता है। एक काल्पनिक DAG कुछ ऐसा दिख सकता है:

Example DAG

सबसे पहले frame assemble होता है, फिर body और tires, और अंत में paint किया जाता है। आइए ऊपर दिए गए उदाहरण को कोड में दोहराते हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

Introduction to Data Engineering

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
कोड संपादित करें और चलाएँ