在 Kubernetes 上部署 ETL 流水线
您将把一条 ETL 流水线部署到 Kubernetes 上。Extract、Transform 和 Load 步骤将由各自的 Pod 实现,这些 Pod 通过 Persistent Volume Claim 创建的相应 Persistent Volume 来读写数据。
您的任务是找出以 2 人及以上为一组乘坐纽约黄牌出租车(NYC yellow cab)的乘客总数。 您的"Extract Pod"会准备初始数据为一个 CSV 文件,并交给"Transform Pod"。 该 Pod 会将黄牌出租车数据整理为一个 SQLite 数据库,选出最终计算所需的数据, 再交给"Load Pod"。最后这个 Pod 会汇总所有乘客数据、展示结果,并将其保存为 CSV 文件。
以上所有步骤都将使用您已经熟悉的标准 Kubernetes 对象完成。我们已准备了两个目录 "Docker/" 和 "Manifests/",其中包含构建 Docker 映像并通过 Kubernetes 部署所需的文件。
本练习是课程的一部分
