1. 学ぶ
    2. /
  2. コース
    3. /
  3. Kubernetes入門
Connected

演習

Kubernetes に ETL パイプラインをデプロイする

Kubernetes 上に ETL パイプラインをデプロイします。Extract、Transform、Load の各ステップはそれぞれ Pod として実行され、Pod は Persistent Volume Claim が作成する各 Persistent Volume に読み書きします。

今回のタスクは、NYC のイエローキャブに2人以上のグループで乗車した乗客の合計人数を求めることです。 「Extract Pod」は初期データを CSV ファイルとして準備し、「Transform Pod」に引き渡します。 この Pod はイエローキャブのデータを SQLite データベースに整形し、最終計算に必要なデータを選択してから、「Load Pod」に渡します。最後の Pod はすべての乗客データを合算して表示し、CSV ファイルとして保存します。

これらの手順はすべて、これまでに学んだ標準的な Kubernetes オブジェクトで行います。Docker イメージの作成と Kubernetes を使ったデプロイに必要なファイルは、"Docker/" と "Manifests/" の2つのディレクトリに準備されています。

指示1 / 4

undefined XP
    1
    2
    3
    4
  • Docker/ ディレクトリ内のファイル、特に Docker/Dockerfile.* と Docker/*.sql を確認します。ページャの more や、個々のファイル内容を表示する cat コマンドを使えます。
  • ビルド用スクリプト 01_build_and_upload_images.sh を bash コマンドで実行します。これにより3つの Docker イメージ（extract:v1、transform:v1、load:v1）がビルドされ、Kubernetes クラスタにアップロードされます。

注意: Docker イメージの作成と Kubernetes でのデプロイに必要なファイルは、"Docker/" と "Manifests/" の2つのディレクトリに準備されています。cat コマンドは 'CTRL+D' で終了できます。