Kubernetes に ETL パイプラインをデプロイする

Kubernetes 上に ETL パイプラインをデプロイします。Extract、Transform、Load の各ステップはそれぞれ Pod として実行され、Pod は Persistent Volume Claim が作成する各 Persistent Volume に読み書きします。

今回のタスクは、NYC のイエローキャブに2人以上のグループで乗車した乗客の合計人数を求めることです。 「Extract Pod」は初期データを CSV ファイルとして準備し、「Transform Pod」に引き渡します。 この Pod はイエローキャブのデータを SQLite データベースに整形し、最終計算に必要なデータを選択してから、「Load Pod」に渡します。最後の Pod はすべての乗客データを合算して表示し、CSV ファイルとして保存します。

これらの手順はすべて、これまでに学んだ標準的な Kubernetes オブジェクトで行います。Docker イメージの作成と Kubernetes を使ったデプロイに必要なファイルは、"Docker/" と "Manifests/" の2つのディレクトリに準備されています。