开始使用免费开始使用

在 Kubernetes 上部署 ETL 流水线

您将把一条 ETL 流水线部署到 Kubernetes 上。Extract、Transform 和 Load 步骤将由各自的 Pod 实现,这些 Pod 通过 Persistent Volume Claim 创建的相应 Persistent Volume 来读写数据。

您的任务是找出以 2 人及以上为一组乘坐纽约黄牌出租车(NYC yellow cab)的乘客总数。 您的"Extract Pod"会准备初始数据为一个 CSV 文件,并交给"Transform Pod"。 该 Pod 会将黄牌出租车数据整理为一个 SQLite 数据库,选出最终计算所需的数据, 再交给"Load Pod"。最后这个 Pod 会汇总所有乘客数据、展示结果,并将其保存为 CSV 文件。

以上所有步骤都将使用您已经熟悉的标准 Kubernetes 对象完成。我们已准备了两个目录 "Docker/" 和 "Manifests/",其中包含构建 Docker 映像并通过 Kubernetes 部署所需的文件。

本练习是课程的一部分

Kubernetes 入门

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习