In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Dag counter

Running your first Dag

Airflow Dags

Creating a simple Dag

Working with Dags and the Airflow shell

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Navigating the Airflow UI

Examining Dags with the Airflow UI

Dag errors

Intro to Airflow

What’s up Dag? Now it’s time to learn the basics of implementing Airflow Dags. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Decorating a task

Defining a BashOperator with @task.bash

Define order of Tasks

More @tasks

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

Passing data with XCom

XCom variables

Airflow Sensors

Determining the order of tasks

Creating a FileSensor

Sensory Deprivation

Building Dags in Airflow

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensörleri

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    '____': [____],
    '____': True,
    'email_on_success': ____
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    'email': ['airflowalerts@datacamp.com', 'airflowadmin@datacamp.com'],
    'email_on_failure': True,
    'email_on_success': True
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


Durum e-postaları ekleme

Maintaining and monitoring Airflow workflows

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Triggers and Fault Tolerance

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

The HITL Operator

Adding Human approval

ApprovalOperator Task

Creating a production pipeline

Setting up the sales ETL pipeline

Adding monthly branching

Adding a human approval gate

Congratulations!

Controlling Dag Logic

Apache Airflow 2.7 ile güncellendi - Veriyi bir takvime bağlı olarak teslim etmek çoğu zaman manuel bir süreçtir. Betikler yazarsın, karmaşık cron görevleri eklersin ve sürekli değişen gereksinimlere uymak için türlü yollar denersin — ekip arkadaşlarınla çalışırken her şeyi yönetmek daha da zorlaşır. Apache Airflow, iş akışlarına zamanlama, hata yönetimi ve raporlama ekleyerek bu baş ağrısını ortadan kaldırabilir. Bu derste, Apache Airflow’un temellerini öğrenecek ve üretim ortamında karmaşık veri mühendisliği boru hatlarını nasıl uygulayacağını keşfedeceksin. Ayrıca Directed Acyclic Graphs (DAG) kullanmayı, veri mühendisliği iş akışlarını otomatikleştirmeyi ve görevleri kolay ve tekrarlanabilir bir şekilde hayata geçirmeyi öğreneceksin — böylece akıl sağlığını korumana yardımcı olacak.

Intermediate Python

Introduction to Shell

Airflow ve Airflow DAG'leri ile Python'da veri mühendisliği iş akışlarını planlayıp uygulayın.

Python ile Apache Airflow'a Giriş

Veri mühendisliği iş akışlarını nasıl uygulayacağınızı ve planlayacağınızı öğrenin.

Veri Mühendisi Python'da

Dag troubleshooting

Python ile Apache Airflow'a Giriş

Uygulamalı etkileşimli egzersiz