Bu bölümde, Apache Airflow’un bileşenlerine kapsamlı bir giriş yapacak ve bunları nasıl ve neden kullanman gerektiğini öğreneceksin.

Apache Airflow’a Giriş

Dag sayacı

İlk Dag'ini çalıştırma

Airflow DAG'leri

Basit bir Dag oluşturma

Dag'lerle ve Airflow kabuğuyla çalışma

Airflow komutlarını inceleme

Airflow'da bir görevi test etme

Airflow web arayüzü

Airflow UI'da gezinme

Airflow UI ile Dags inceleme

Dag hataları

Airflow’a Giriş

N’aber Dag? Şimdi Airflow Dag’lerini uygulamanın temellerini öğrenme zamanı. Uygulamalı etkinliklerle operatörleri, görevleri ve zamanlamayı nasıl kurup dağıtacağını öğreneceksin.

Airflow operatörleri

Bir görevi dekore etmek

@task.bash ile bir BashOperator tanımlama

Görevlerin sırasını tanımla

Daha fazla @tasks

Dag’leri Zamanlama

Bir Dag'i Python ile zamanla

Airflow zamanlamalarını çözümleme

Dag çalıştırmalarını sorun giderme

Görevler arasında XCom ile veri paylaşma

XCom ile veri aktarma

XCom değişkenleri

Airflow Sensörleri

Görevlerin sırasını belirleme

Bir FileSensor oluşturma

Duyusal Yoksunluk

Airflow’da Dag Oluşturma

Bu bölümde, sensörler ve yürütücüler gibi Airflow bileşenlerini kullanarak zaman kazanmayı; ayrıca Airflow iş akışlarını izlemeyi ve sorun gidermeyi öğreneceksin.

İzleme, Uyarılar ve Geri Çağrılar

Bir geri çağırma (callback) fonksiyonu uygulama

Bir SmtpNotifier Uygulama

Günlüklerde ne var?

Jinja ile Şablonlama

Jinja ile yazma

Yerine koyma

Airflow Değişkenleri

Yanıt: Variable

Python'da bir variable okuma

Değişkenler tam tutmuyor

Airflow'da hata ayıklama ve sorun giderme

Dag sorun giderme

Eksik Dag

Airflow iş akışlarını sürdürme ve izleme

Hepsini bir araya getir. Bu son bölümde, öğrendiklerinin tümünü uygulayarak Airflow’da üretim kalitesinde bir iş akışı oluşturacaksın.

Tetikleyiciler ve Hata Toleransı

Bir Trigger Rule Uygulamak

Yeniden denemeler ekleme

Bir alt Dag'i tetikleme

Dallanma

Bir @task.branch tanımla

Dallanma sorun giderme

HITL Operatorü

İnsan onayı ekleme

ApprovalOperator Görevi

Üretim hattı oluşturma

# Imports
from airflow.sdk import ____, ____, ____
from airflow.providers.standard.sensors.filesystem import ____
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='____',
  on_success_callback=____(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.____}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
    
  initialized = initialize()
  initialized >> filewatcher
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
      
  initialized = initialize()
  initialized >> filewatcher 
  
sales_etl()

Satış ETL veri hattını kurma

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @____
  def validate_data():
    sales_path = Variable.____('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = '____'
    if '-09-' in sales_path:
      next_task = '____'
    return next_task
  
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >> validated
  
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >> validated
  
  
sales_etl()

Aylık dallanma ekleme

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier
from airflow.providers.standard.operators.hitl import ____

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  @task
  def regular_monthly_task():
    print(f'Processing data and automatically updating dataset')
    
  yearend_approval_task = ____(
    task_id="____",
    subject="Sales data processing - Approval Required",
    body=(
            "Please review the sales data produced by the *validate_data* task "
            "on {{ds}}."
            "Approve to push to the data warehouse, or Reject to halt the run."
    ),
  )
  
  @task
  def push_to_warehouse():
    print(f'Pushing processed data to warehouse')
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >>validated
  
  validated >> [regular_monthly_task(), ____] >> push_to_warehouse()
  
  
sales_etl()

# Imports
from airflow.sdk import dag, task, Variable
from airflow.providers.standard.sensors.filesystem import FileSensor
from airflow.providers.smtp.notifications.smtp import SmtpNotifier
from airflow.providers.standard.operators.hitl import ApprovalOperator

from pendulum import datetime

# Dag definition
@dag(
  start_date=datetime(2026,5,1),
  schedule='@monthly',
  on_success_callback=SmtpNotifier(
    to="airflow_team@mycompany.com",
    from_email="airflow_production@mycompany.com",
    subject="sales_etl run succeeded!"
  )
)
def sales_etl():
  
  @task
  def initialize(ds):
    print('Cleaning data directories, prepping for processing...')

    # Use a variable to set the current data path
    Variable.set("sales_etl_data_path", f'/data/sales_etl/{ds}')
  
  
  # Setup a file sensor to wait for the filescopied.txt file to be present
  filewatcher = FileSensor(
    task_id="WaitForDataFiles",
    filepath="{{var.value.sales_etl_data_path}}/filescopied.txt",
    poke_interval=15,
    timeout=300
  )
  
  
  # Create a branching task to validate the data. 
  @task.branch
  def validate_data():
    sales_path = Variable.get('sales_etl_data_path')
    print(f"Parsing data at {sales_path}")
    next_task = 'regular_monthly_task'
    if '-09-' in sales_path:
      next_task = 'yearend_approval_task'
    return next_task
  
  @task
  def regular_monthly_task():
    print(f'Processing data and automatically updating dataset')
    
  yearend_approval_task = ApprovalOperator(
    task_id="yearend_approval_task",
    subject="Sales data processing - Approval Required",
    body=(
            "Please review the sales data produced by the *validate_data* task "
            "on {{ds}}."
            "Approve to push to the data warehouse, or Reject to halt the run."
    ),
  )
  
  @task
  def push_to_warehouse():
    print(f'Pushing processed data to warehouse')
  
  initialized = initialize()
  validated = validate_data()
  
  initialized >> filewatcher >>validated
  
  validated >> [regular_monthly_task(), yearend_approval_task] >> push_to_warehouse()
  
  
sales_etl()

İnsan onayı adımı ekleme

Tebrikler!

Dag Mantığını Kontrol Etme

Şimdi Apache Airflow 3.1.6 ile güncel - Veriyi bir takvime bağlı olarak teslim etmek çoğu zaman manuel bir süreçtir. Betikler yazarsın, karmaşık cron görevleri eklersin ve sürekli değişen gereksinimleri karşılamak için farklı yollar denersin—ekip arkadaşlarınla çalışırken her şeyi yönetmek daha da zorlaşır. Apache Airflow, iş akışlarına zamanlama, hata yönetimi ve raporlama ekleyerek bu zahmeti ortadan kaldırabilir. Bu kursta, Apache Airflow’un temellerinde ustalaşacak ve üretimde karmaşık veri mühendisliği hatlarını nasıl uygulayacağını öğreneceksin. Ayrıca Yönlendirilmiş Çevrimsiz Grafikler (Dag’ler) kullanmayı, veri mühendisliği iş akışlarını otomatikleştirmeyi ve veri mühendisliği görevlerini kolay ve tekrar edilebilir bir şekilde uygulamayı öğreneceksin—böylece akıl sağlığını korumana yardımcı olacak.

Intermediate Python

Introduction to Shell

Airflow ve Airflow DAG'leri ile Python'da veri mühendisliği iş akışlarını planlayıp uygulayın.

Python ile Apache Airflow’a Giriş

Veri mühendisliği iş akışlarını nasıl uygulayacağınızı ve planlayacağınızı öğrenin.

Tebrikler!

Create Your Free Account