DAG の定義

これまでの演習では、抽出・変換・ロードの各フェーズを個別に行いました。今回は、それらをひとつにまとめた etl() 関数をコンソールで確認できるようになっています。

etl() 関数は、関連するデータベースからコースと評価の生データを抽出し、破損データのクレンジングや欠損値の補完を行い、コースごとの平均評価を計算し、レコメンデーションのための意思決定ルールに基づいて推奨を作成し、最後にそのレコメンデーションをデータベースにロードします。

動画で説明したとおり、etl() は 1 つの引数 db_engines を受け取ります。これは PythonOperator の op_kwargs に渡せます。呼び出し可能オブジェクトに対して、kwargs として展開される辞書を渡してください。