MulaiMulai sekarang secara gratis

DAG Airflow

Dalam Airflow, sebuah pipeline direpresentasikan sebagai Directed Acyclic Graph atau DAG. Node pada grafik merepresentasikan tugas yang dieksekusi. Koneksi berarah antar node merepresentasikan ketergantungan antar tugas.

Merepresentasikan pipeline data sebagai DAG sangat masuk akal, karena beberapa tugas harus selesai sebelum tugas lain dapat dimulai. Anda bisa membandingkannya dengan lini perakitan di pabrik mobil. Tugas-tugas tersusun bertahap, dan setiap tugas dapat bergantung pada penyelesaian tugas sebelumnya. Sebuah DAG fiksi dapat terlihat seperti ini:

Example DAG

Perakitan rangka dilakukan terlebih dahulu, kemudian bodi dan ban, dan terakhir pengecatan. Mari kita reproduksi contoh di atas dalam kode.

Latihan ini adalah bagian dari kursus

Pengantar Data Engineering

Lihat Kursus

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Edit dan Jalankan Kode