1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. ETL và ELT với Python
Connected

Bài tập

Mẫu kiến trúc data pipeline

Khi xây dựng data pipeline, tốt nhất là tách riêng các tệp nơi định nghĩa hàm khỏi nơi chúng được chạy.

Trong bài tập này, bạn sẽ luyện tập import các thành phần của một pipeline vào bộ nhớ trước khi dùng các hàm này để chạy pipeline từ đầu đến cuối. Dự án có cấu trúc như sau, trong đó pipeline_utils chứa các hàm extract(), transform(), và load() sẽ được dùng để chạy pipeline.

> ls
 etl_pipeline.py
 pipeline_utils.py

Hướng dẫn

100 XP
  • Import các hàm extract, transform, và load từ module pipeline_utils.
  • Dùng các hàm đã import để chạy data pipeline từ đầu đến cuối.