Di bab ini, Anda akan mendapatkan pengenalan lengkap tentang komponen Apache Airflow serta mempelajari cara dan alasan untuk menggunakannya.

Pengantar Apache Airflow

Penghitung Dag

Menjalankan Dag pertama Anda

Airflow Dags

Membuat Dag sederhana

Bekerja dengan Dag dan shell Airflow

Menganalisis perintah Airflow

Menguji sebuah task di Airflow

Antarmuka web Airflow

Menavigasi UI Airflow

Mengamati Dag dengan Airflow UI

Kesalahan Dag

Pengantar Airflow

Apa kabar, Dag? Sekarang saatnya mempelajari dasar-dasar penerapan Dag Airflow. Melalui aktivitas praktis, Anda akan belajar cara menyiapkan dan menerapkan operator, tugas, dan penjadwalan.

Operator Airflow

Mendekorasi sebuah tugas

Mendefinisikan BashOperator dengan @task.bash

Menentukan Urutan Task

Lebih banyak @tasks

Menjadwalkan Dag

Menjadwalkan Dag melalui Python

Mengurai jadwal Airflow

Memecahkan masalah run Dag

Mengalirkan data antar tugas dengan XCom

Meneruskan data dengan XCom

Variabel XCom

Sensor Airflow

Menentukan urutan task

Membuat FileSensor

Deprivasi Sensorik

Membangun Dag di Airflow

Di bab ini, Anda akan mempelajari cara menghemat waktu menggunakan komponen Airflow seperti sensor dan executor sambil memantau dan menyelesaikan masalah alur kerja Airflow.

Pemantauan, Peringatan, dan Callback

Mengimplementasikan fungsi callback

Menerapkan SmtpNotifier

Apa yang ada di log?

Templating dengan Jinja

Menulis dengan Jinja

Mengganti bagian

Variabel Airflow

Jawabannya adalah Variable

Membaca variabel di Python

Variabel kurang tepat

Debugging dan pemecahan masalah di Airflow

Pemecahan masalah Dag

from airflow.sdk import dag, task
#from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

from airflow.sdk import dag, task
from pendulum import datetime

@dag(
    dag_id="sample_dag",
    schedule="0 0 * * *",
    start_date=datetime(2023, 2, 20),
)
def sample_dag():

    @task()
    def sample():
        print("Running sample task...")

    sample()

sample_dag()

from airflow.sdk import dag, task
from airflow.providers.standard.sensors.filesystem import FileSensor
from pendulum import datetime

@dag(
    dag_id="execute_report",
    schedule="0 0 * * *",
    start_date=datetime(2026, 3, 20),
)
def execute_report():

    check_for_datafile = FileSensor(
        task_id="check_for_datafile",
        filepath="salesdata_ready.csv",
        mode="poke",
    )

    @task()
    def generate_report():
        print("Generating report...")

    check_for_datafile >> generate_report()

execute_report()

Dag Hilang

Memelihara dan memantau alur kerja Airflow

Satukan semuanya. Di bab terakhir ini, Anda akan menerapkan semua yang telah dipelajari untuk membangun alur kerja berkualitas produksi di Airflow.

Pemicu dan Toleransi Kesalahan

Menerapkan Trigger Rule

Menambahkan retry

Memicu Dag anak

Branching

Mendefinisikan sebuah @task.branch

Pemecahan masalah percabangan

Operator HITL

Menambahkan persetujuan manusia

Tugas ApprovalOperator

Membuat pipeline produksi

Menyiapkan pipeline ETL penjualan

Menambahkan branching bulanan

Menambahkan gerbang persetujuan manusia

Selamat!

Mengendalikan Logika Dag

Kini diperbarui ke Apache Airflow 3.1.6 - Menyajikan data sesuai jadwal sering kali merupakan proses manual. Anda menulis skrip, menambahkan tugas cron yang kompleks, dan mencoba berbagai cara untuk memenuhi persyaratan yang terus berubah—dan akan makin rumit saat harus mengelola semuanya bersama rekan kerja. Apache Airflow dapat menghilangkan kerumitan ini dengan menambahkan penjadwalan, penanganan galat, dan pelaporan ke alur kerja Anda. Dalam kursus ini, Anda akan menguasai dasar-dasar Apache Airflow dan mempelajari cara menerapkan pipeline rekayasa data yang kompleks di lingkungan produksi. Anda juga akan mempelajari cara menggunakan Directed Acyclic Graphs (Dag), mengotomatisasi alur kerja rekayasa data, serta menerapkan tugas-tugas rekayasa data dengan cara yang mudah dan dapat diulang—membantu Anda tetap terkendali.

Intermediate Python

Introduction to Shell

Pelajari implementasi dan penjadwalan alur kerja data dengan Airflow dan DAG Airflow di Python.

Pengantar Apache Airflow dengan Python

Pelajari cara mengimplementasikan dan menjadwalkan alur kerja rekayasa data.

Data Engineer dalam Python

Mengganti bagian

Pengantar Apache Airflow dengan Python

Latihan interaktif langsung