BashOperator タスクの定義

BashOperator を使うと、任意のシェルコマンドやスクリプトを指定して、Airflow のワークフローに組み込むことができます。これは、環境に Airflow を導入するうえで良い第一歩になります。

これまで、データを同僚（Data Analytics グループ）に渡す前に、cleanup.sh というスクリプトを手動で実行してクレンジングしていました。しかし、似たような作業が増えるにつれて、すべてを手動で実行し続けるのは難しく、エラー対応やリトライにも手が回らなくなってきました。そこで、このシンプルなスクリプトを Airflow のオペレーターとして実装したいと考えています。

Airflow の DAG analytics_dag はすでに定義されており、適切な設定が行われています。