1. Learn
    2. /
  2. Курси
    3. /
  3. Вступ до Apache Airflow на Python
Connected

вправа

Оголошення BashOperator за допомогою @task.bash

Завдання Bash дає змогу вказати будь-яку команду або скрипт оболонки й додати його до робочого процесу Airflow. Це може бути вдалим стартом для впровадження Airflow у вашому середовищі.

Ви вручну запускали кілька скриптів для очищення даних (скрипт має назву cleanup.sh) перед переданням колегам із команди аналітики даних. Із ростом кількості таких завдань ви зрозуміли, що стає важко все запускати вручну, не кажучи вже про обробку помилок чи повторні спроби. Ви хочете реалізувати простий скрипт як оператор Airflow.

Обʼєкти dag і task із Airflow уже імпортовано.

Інструкції

100 XP
  • Використайте декоратор @task.bash, щоб визначити завдання.
  • Використайте імʼя методу cleanup_task.
  • Змусьте завдання повертати cleanup.sh.