BaşlayınÜcretsiz başlayın

Airflow DAG'leri

Airflow'da bir veri hattı (pipeline), Directed Acyclic Graph ya da kısaca DAG olarak temsil edilir. Grafın düğümleri, çalıştırılan görevleri (task) temsil eder. Düğümler arasındaki yönlü bağlantılar ise görevler arasındaki bağımlılıkları gösterir.

Bir veri hattını DAG olarak temsil etmek çok mantıklıdır; çünkü bazı görevler bitmeden diğerleri başlayamaz. Bunu bir otomobil fabrikasındaki montaj hattına benzetebilirsin. Görevler üst üste inşa edilir ve her görev, önceki görevlerin tamamlanmasına bağlı olabilir. Kurgusal bir DAG şöyle görünebilir:

Example DAG

Önce şasi birleştirilir, ardından kaporta ve lastikler takılır ve son olarak boyanır. Hadi yukarıdaki örneği kodda yeniden oluşturalım.

Bu egzersiz, kursun bir parçasıdır

Data Engineering'e Giriş

Kursa Göz Atın

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Kodu Düzenle ve Çalıştır