Bu bölümde, Apache Airflow bileşenlerine kapsamlı bir giriş yapacak ve bunları nasıl ve neden kullanman gerektiğini öğreneceksin.

Apache Airflow’a Giriş

Airflow'da bir görevi test etme

Airflow komutlarını inceleme

Airflow DAG'leri

Creating a simple Dag

DAG'lerle ve Airflow kabuğuyla çalışmak

Examining Airflow commands

Testing a task in Airflow

Airflow web interface

Airflow UI'da gezinme

Airflow arayüzüyle DAG’leri inceleme

Dag errors

Airflow’a Giriş

N’aber DAG? Şimdi Airflow DAG’lerini uygulamanın temellerini öğrenme zamanı. Uygulamalı etkinliklerle, operatörleri, görevleri ve zamanlamayı nasıl kurup dağıtacağını öğreneceksin.

Airflow operatörleri

Bir BashOperator görevi tanımlama

Birden Fazla BashOperator

Define order of Tasks

BashOperator sırasını tanımla

Scheduling Dags

Schedule a Dag via Python

Deciphering Airflow schedules

Troubleshooting Dag runs

Passing data between tasks with XCom

EmailOperator ve bağımlılıklar

XCom variables

Airflow Sensors

Airflow zamanlamalarını çözümleme

Creating a FileSensor

Sensory Deprivation

Airflow DAG’lerini Uygulamak

Bu bölümde, sensörler ve yürütücüler gibi Airflow bileşenlerini kullanarak zaman kazanmayı ve Airflow iş akışlarını izlerken sorun gidermeyi öğreneceksin.

Airflow sensörleri

Implementing a callback function

Implementing an SmtpNotifier

What's in the logs?

Templating with Jinja

Writing with Jinja

Subbing out

Airflow Variables

The answer is Variable

Reading a variable in Python

Variables not quite right

Debugging and troubleshooting in Airflow

Dag troubleshooting

from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    '____': [____],
    '____': True,
    'email_on_success': ____
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


from airflow import DAG
from airflow.operators.bash import BashOperator
from airflow.sensors.filesystem import FileSensor
from datetime import datetime

default_args={
    'email': ['airflowalerts@datacamp.com', 'airflowadmin@datacamp.com'],
    'email_on_failure': True,
    'email_on_success': True
}

report_dag = DAG(
    dag_id = 'execute_report',
    schedule_interval = "0 0 * * *",
    default_args=default_args
)

precheck = FileSensor(
    task_id='check_for_datafile',
    filepath='salesdata_ready.csv',
    start_date=datetime(2023,2,20),
    mode='reschedule',
    dag=report_dag)

generate_report_task = BashOperator(
    task_id='generate_report',
    bash_command='generate_report.sh',
    start_date=datetime(2023,2,20),
    dag=report_dag
)

precheck >> generate_report_task


Durum e-postaları ekleme

Airflow iş akışlarını sürdürme ve izleme

Hepsini bir araya getir. Bu son bölümde, öğrendiklerinin tamamını uygulayarak Airflow’da üretim kalitesinde bir iş akışı kuracaksın.

Şablonlarla çalışmak

Implementing a Trigger Rule

Adding retries

Triggering a child Dag

Branching

Define a @task.branch

Branch troubleshooting

Dallanma

Bir BranchPythonOperator tanımla

Dallanma sorun giderme

Üretim hattı oluşturma

Üretim hattı oluşturma #1

Bir üretim veri hattı oluşturma #2

Boru hattına son değişiklikleri ekleme

Tebrikler!

Airflow’da üretim boru hatları kurmak

Apache Airflow 2.7 ile güncellendi - Veriyi bir takvime bağlı olarak teslim etmek çoğu zaman manuel bir süreçtir. Betikler yazarsın, karmaşık cron görevleri eklersin ve sürekli değişen gereksinimlere uymak için türlü yollar denersin — ekip arkadaşlarınla çalışırken her şeyi yönetmek daha da zorlaşır. Apache Airflow, iş akışlarına zamanlama, hata yönetimi ve raporlama ekleyerek bu baş ağrısını ortadan kaldırabilir. Bu derste, Apache Airflow’un temellerini öğrenecek ve üretim ortamında karmaşık veri mühendisliği boru hatlarını nasıl uygulayacağını keşfedeceksin. Ayrıca Directed Acyclic Graphs (DAG) kullanmayı, veri mühendisliği iş akışlarını otomatikleştirmeyi ve görevleri kolay ve tekrarlanabilir bir şekilde hayata geçirmeyi öğreneceksin — böylece akıl sağlığını korumana yardımcı olacak.

Intermediate Python

Introduction to Shell

Airflow ve Airflow DAG'leri ile Python'da veri mühendisliği iş akışlarını planlayıp uygulayın.

Python ile Apache Airflow'a Giriş

Veri mühendisliği iş akışlarını nasıl uygulayacağınızı ve planlayacağınızı öğrenin.

Veri Mühendisi Python'da

What's in the logs?

Python ile Apache Airflow'a Giriş

Uygulamalı etkileşimli egzersiz