Mulai sekarangMulai gratis

DAG Airflow

Dalam Airflow, sebuah pipeline direpresentasikan sebagai Directed Acyclic Graph atau DAG. Node pada grafik merepresentasikan tugas yang dieksekusi. Koneksi berarah antar node merepresentasikan ketergantungan antar tugas.

Merepresentasikan pipeline data sebagai DAG sangat masuk akal, karena beberapa tugas harus selesai sebelum tugas lain dapat dimulai. Anda bisa membandingkannya dengan lini perakitan di pabrik mobil. Tugas-tugas tersusun bertahap, dan setiap tugas dapat bergantung pada penyelesaian tugas sebelumnya. Sebuah DAG fiksi dapat terlihat seperti ini:

Example DAG

Perakitan rangka dilakukan terlebih dahulu, kemudian bodi dan ban, dan terakhir pengecatan. Mari kita reproduksi contoh di atas dalam kode.

Latihan ini merupakan bagian dari kursus

Pengantar Data Engineering

Lihat Kursus

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Edit dan Jalankan Kode