1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Úvod do Apache Airflow v Pythonu
Connected

Cvičení

Definování BashOperatoru pomocí @task.bash

Bash task ti umožňuje zadat libovolný shellový příkaz nebo skript a zařadit ho do Airflow workflow. Je to skvělý způsob, jak Airflow začít využívat ve svém prostředí.

Doposud jsi ručně spouštěl/a skripty pro čištění dat (konkrétně skript cleanup.sh) před jejich předáním kolegům z týmu Data Analytics. S přibývajícími úkoly ti začíná být jasné, že ruční spouštění všeho je čím dál náročnější — natož řešit chyby nebo opakované spouštění. Chceš proto tento jednoduchý skript implementovat jako Airflow operátor.

Objekty dag a task pro Airflow jsou už naimportované.

Pokyny

100 XP
  • Použij dekorátor @task.bash k definování tasku.
  • Pojmenuj metodu cleanup_task.
  • Zajisti, aby task vracel cleanup.sh.