Оголошення BashOperator за допомогою @task.bash
Завдання Bash дає змогу вказати будь-яку команду або скрипт оболонки й додати його до робочого процесу Airflow. Це може бути вдалим стартом для впровадження Airflow у вашому середовищі.
Ви вручну запускали кілька скриптів для очищення даних (скрипт має назву cleanup.sh) перед переданням колегам із команди аналітики даних. Із ростом кількості таких завдань ви зрозуміли, що стає важко все запускати вручну, не кажучи вже про обробку помилок чи повторні спроби. Ви хочете реалізувати простий скрипт як оператор Airflow.
Обʼєкти dag і task із Airflow уже імпортовано.
Ця вправа є частиною курсу
Вступ до Apache Airflow на Python
Інструкції до вправи
- Використайте декоратор
@task.bash, щоб визначити завдання. - Використайте імʼя методу
cleanup_task. - Змусьте завдання повертати
cleanup.sh.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
@dag(
dag_id='analytics_dag',
start_date=datetime(2026,1,1)
)
def analytics_dag():
# Specify a Bash task
@____
def ____():
return '____'
# Run the task
cleanup_task()
analytics_dag()