เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ทดสอบดาต้าไปป์ไลน์แบบ end-to-end

ในแบบฝึกหัดนี้ คุณจะทำงานกับดาต้าไปป์ไลน์เดิมที่ใช้ดึง แปลง และโหลดข้อมูลภาษี ลองทดสอบไปป์ไลน์นี้แบบ end-to-end เพื่อให้มั่นใจว่าสามารถรันได้หลายครั้ง โดยไม่ทำให้ข้อมูลที่แปลงแล้วซ้ำซ้อนกันในไฟล์ parquet

pandas ถูกโหลดไว้แล้วในชื่อ pd และฟังก์ชัน extract(), transform() และ load() ก็ถูกกำหนดไว้ให้เรียบร้อยแล้ว

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

ETL and ELT ใน Python

ดูคอร์ส

คำแนะนำการฝึกหัด

  • รันไปป์ไลน์ ETL สามครั้งโดยใช้ลูป for
  • แสดงค่า shape ของ clean_tax_data ในแต่ละรอบของการรันไปป์ไลน์
  • อ่าน DataFrame ที่เก็บอยู่ในไฟล์ "clean_tax_data.parquet" เข้าไปเก็บไว้ในตัวแปร to_validate
  • แสดงค่า shape ของ DataFrame to_validate แล้วเปรียบเทียบกับ shape ของ clean_tax_rate เพื่อให้มั่นใจว่าข้อมูลไม่ถูกทำซ้ำในแต่ละครั้งที่รันไปป์ไลน์

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
	print(f"Attempt: {attempt}")
	raw_tax_data = extract("raw_tax_data.csv")
	clean_tax_data = transform(raw_tax_data)
	load(clean_tax_data, "clean_tax_data.parquet")
	
	# Print the shape of the cleaned_tax_data DataFrame
	print(f"Shape of clean_tax_data: {clean_tax_data.____}")
    
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")
แก้ไขและรันโค้ด