1. 学ぶ
  2. /
  3. コース
  4. /
  5. Pythonで学ぶ Apache Airflow 入門

Connected

演習

複数の BashOperator

Airflow の DAG には、多くのオペレーターを含めることができ、それぞれが定義されたタスクを実行します。

すでに 1 つのスクリプトを Airflow のタスクとして実装できたので、個別のスクリプトを本格的な Airflow の DAG に移行し続けることにしました。これからワークフローにさらにコンポーネントを追加します。前の演習で使った cleanup.sh に加えて、consolidate_data.sh と push_data.sh の 2 つのスクリプトがあります。これらはデータをさらに処理し、最終的な場所へコピーします。

DAG analytics_dag はすでに定義されています(つまり、with DAG(...) 文を追加する必要はありません)。また、cleanup タスクも定義済みです。BashOperator はすでにインポートされています。

指示

100 XP
  • consolidate_data.sh を実行する BashOperator を consolidate という名前で定義し、task_id を consolidate_task にしてください。
  • 最後に push_data.sh を実行する BashOperator を push_data という名前で追加し、task_id を pushdata_task にしてください。