เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

รูปแบบสถาปัตยกรรมของดาต้าไปป์ไลน์

เมื่อสร้างดาต้าไปป์ไลน์ ควรแยกไฟล์ที่ใช้นิยามฟังก์ชันออกจากไฟล์ที่ใช้รันฟังก์ชันเหล่านั้น

ในแบบฝึกหัดนี้ จะได้ฝึก import ส่วนประกอบต่างๆ ของไปป์ไลน์เข้าสู่หน่วยความจำ ก่อนนำฟังก์ชันเหล่านี้ไปใช้รันไปป์ไลน์แบบ end-to-end โปรเจกต์มีรูปแบบดังนี้ โดย pipeline_utils เก็บฟังก์ชัน extract(), transform() และ load() ที่จะใช้รันไปป์ไลน์

> ls
 etl_pipeline.py
 pipeline_utils.py

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

ETL and ELT ใน Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • Import ฟังก์ชัน extract, transform และ load จากโมดูล pipeline_utils
  • ใช้ฟังก์ชันที่ import มาเพื่อรันดาต้าไปป์ไลน์แบบ end-to-end

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Import the extract, transform, and load functions from pipeline_utils
____

# Run the pipeline end to end by extracting, transforming and loading the data
raw_tax_data = ____("raw_tax_data.csv")
clean_tax_data = ____(raw_tax_data)
____(clean_tax_data, "clean_tax_data.parquet")
แก้ไขและรันโค้ด