Mulai sekarangMulai gratis

DAG Airflow

Di Airflow, sebuah pipeline direpresentasikan sebagai Directed Acyclic Graph atau DAG. Node pada graf merepresentasikan tugas yang dieksekusi. Koneksi berarah antar-node merepresentasikan ketergantungan antartugas.

Merepresentasikan pipeline data sebagai DAG sangat masuk akal, karena beberapa tugas harus selesai sebelum yang lain dapat dimulai. Anda bisa membandingkannya dengan lini perakitan di pabrik mobil. Tugas-tugas saling bertumpuk, dan setiap tugas dapat bergantung pada penyelesaian tugas sebelumnya. Sebuah DAG fiksional dapat terlihat seperti ini:

Example DAG

Perakitan rangka terjadi terlebih dahulu, lalu bodi dan ban, dan akhirnya pengecatan. Mari kita tirukan contoh di atas dalam kode.

Latihan ini merupakan bagian dari kursus

Pengantar Data Engineering

Lihat Kursus

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Edit dan Jalankan Kode