Bir BashOperator görevi tanımlama

BashOperator, herhangi bir Shell komutunu veya scriptini belirtip bir Airflow iş akışına eklemene olanak tanır. Bu, ortamında Airflow’u uygulamaya başlamak için harika bir adımdır.

Bu doğrultuda, Veri Analitiği ekibindeki çalışma arkadaşlarına teslim etmeden önce veriyi temizlemek için (adı cleanup.sh olan) bazı scriptleri manuel olarak çalıştırıyordun. Sana daha fazla bu tarz görev verildikçe, her şeyi elle çalıştırmaya yetişmenin — hatalarla veya yeniden denemelerle uğraşmayı söylemiyorum bile — zorlaştığını fark ettin. Basit bir scripti bir Airflow operatörü olarak uygulamak istiyorsun.

Airflow DAG’ı analytics_dag senin için zaten tanımlandı ve uygun yapılandırmalar yapıldı.

Bu egzersiz

Python ile Apache Airflow'a Giriş

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

BashOperator nesnesini içe aktar.
task_id’si cleanup_task olan cleanup adlı bir BashOperator tanımla.
cleanup.sh komutunu kullan.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Import the BashOperator
from airflow.operators.bash import ____

with DAG(dag_id="test_dag", default_args={"start_date": "2024-01-01"}) as analytics_dag:
  # Define the BashOperator 
  cleanup = ____(
      task_id=____,
      # Define the bash_command
      bash_command=____,
  )

Kodu Düzenle ve Çalıştır