@task.bash を使った BashOperator の定義

Bash タスクを使うと、任意のシェルコマンドやスクリプトを指定して、Airflow のワークフローに追加できます。既存の環境に Airflow を導入する際の、最初の一歩として最適です。

これまで、データアナリティクスチームへの納品前に、cleanup.sh というスクリプトを使ってデータのクリーニングを手動で行ってきました。しかし、担当タスクが増えるにつれて、すべてを手動で実行し続けることが難しくなり、エラーや再試行への対応にも手が回らなくなってきました。そこで、このスクリプトを Airflow のオペレーターとして実装したいと思います。

Airflow の DAG オブジェクトとタスクオブジェクトはすでにインポートされています。