1. Learn
  2. /
  3. 课程
  4. /
  5. 使用 Python 的 ETL 和 ELT

Connected

道练习

数据管道架构模式

在构建数据管道时,最好将定义函数的文件与实际运行这些函数的文件分离。

在本练习中,您将练习先把管道的组件导入内存,然后使用这些函数端到端运行整条管道。项目结构如下所示,其中 pipeline_utils 存放将用于运行管道的 extract()、transform() 和 load() 函数。

> ls
 etl_pipeline.py
 pipeline_utils.py

说明

100 XP
  • 从 pipeline_utils 模块导入 extract、transform 和 load 函数。
  • 使用导入的函数端到端运行数据管道。