Bu bölümde, Apache Airflow’un bileşenlerine kapsamlı bir giriş yapacak ve bunları nasıl ve neden kullanman gerektiğini öğreneceksin.

Apache Airflow’a Giriş

Dag sayacı

İlk Dag'ini çalıştırma

Airflow DAG'leri

Basit bir Dag oluşturma

Dag'lerle ve Airflow kabuğuyla çalışma

Airflow komutlarını inceleme

Airflow'da bir görevi test etme

Airflow web arayüzü

Airflow UI'da gezinme

Airflow UI ile Dags inceleme

Dag hataları

Airflow’a Giriş

N’aber Dag? Şimdi Airflow Dag’lerini uygulamanın temellerini öğrenme zamanı. Uygulamalı etkinliklerle operatörleri, görevleri ve zamanlamayı nasıl kurup dağıtacağını öğreneceksin.

Airflow operatörleri

Bir görevi dekore etmek

@task.bash ile bir BashOperator tanımlama

Görevlerin sırasını tanımla

Daha fazla @tasks

Dag’leri Zamanlama

Bir Dag'i Python ile zamanla

Zamanlama Aralıkları

Airflow zamanlamalarını çözümleme

Dag çalıştırmalarını sorun giderme

Görevler arasında XCom ile veri paylaşma

XCom ile veri aktarma

XCom değişkenleri

Airflow Sensörleri

İş akışı görev sıralaması

Görevlerin sırasını belirleme

Bir FileSensor oluşturma

Duyusal Yoksunluk

Airflow’da Dag Oluşturma

Bu bölümde, sensörler ve yürütücüler gibi Airflow bileşenlerini kullanarak zaman kazanmayı; ayrıca Airflow iş akışlarını izlemeyi ve sorun gidermeyi öğreneceksin.

İzleme, Uyarılar ve Geri Çağrılar

Bir geri çağırma (callback) fonksiyonu uygulama

Bir SmtpNotifier Uygulama

Günlüklerde ne var?

Jinja ile Şablonlama

Jinja ile yazma

Yerine koyma

Airflow Değişkenleri

Yanıt: Variable

Python'da bir variable okuma

Değişkenler tam tutmuyor

Airflow'da hata ayıklama ve sorun giderme

Dag sorun giderme

Eksik Dag

Airflow iş akışlarını sürdürme ve izleme

Hepsini bir araya getir. Bu son bölümde, öğrendiklerinin tümünü uygulayarak Airflow’da üretim kalitesinde bir iş akışı oluşturacaksın.

Tetikleyiciler ve Hata Toleransı

Bir Trigger Rule Uygulamak

Yeniden denemeler ekleme

Bir alt Dag'i tetikleme

Dallanma

Bir @task.branch tanımla

Dallanma sorun giderme

HITL Operatorü

İnsan onayı ekleme

ApprovalOperator Görevi

Üretim hattı oluşturma

Satış ETL veri hattını kurma

Aylık dallanma ekleme

İnsan onayı adımı ekleme

Tebrikler!

Dag Mantığını Kontrol Etme

Şimdi Apache Airflow 3.1.6 ile güncel - Veriyi bir takvime bağlı olarak teslim etmek çoğu zaman manuel bir süreçtir. Betikler yazarsın, karmaşık cron görevleri eklersin ve sürekli değişen gereksinimleri karşılamak için farklı yollar denersin—ekip arkadaşlarınla çalışırken her şeyi yönetmek daha da zorlaşır. Apache Airflow, iş akışlarına zamanlama, hata yönetimi ve raporlama ekleyerek bu zahmeti ortadan kaldırabilir. Bu kursta, Apache Airflow’un temellerinde ustalaşacak ve üretimde karmaşık veri mühendisliği hatlarını nasıl uygulayacağını öğreneceksin. Ayrıca Yönlendirilmiş Çevrimsiz Grafikler (Dag’ler) kullanmayı, veri mühendisliği iş akışlarını otomatikleştirmeyi ve veri mühendisliği görevlerini kolay ve tekrar edilebilir bir şekilde uygulamayı öğreneceksin—böylece akıl sağlığını korumana yardımcı olacak.

Intermediate Python

Introduction to Shell

Airflow ve Airflow DAG'leri ile Python'da veri mühendisliği iş akışlarını planlayıp uygulayın.

Python ile Apache Airflow’a Giriş

Veri mühendisliği iş akışlarını nasıl uygulayacağınızı ve planlayacağınızı öğrenin.

Veri Mühendisi Python'da

XCom değişkenleri

Python ile Apache Airflow’a Giriş

Uygulamalı etkileşimli egzersiz