ทดสอบดาต้าไปป์ไลน์แบบ end-to-end
ในแบบฝึกหัดนี้ คุณจะทำงานกับดาต้าไปป์ไลน์เดิมที่ใช้ดึง แปลง และโหลดข้อมูลภาษี ลองทดสอบไปป์ไลน์นี้แบบ end-to-end เพื่อให้มั่นใจว่าสามารถรันได้หลายครั้ง โดยไม่ทำให้ข้อมูลที่แปลงแล้วซ้ำซ้อนกันในไฟล์ parquet
pandas ถูกโหลดไว้แล้วในชื่อ pd และฟังก์ชัน extract(), transform() และ load() ก็ถูกกำหนดไว้ให้เรียบร้อยแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL and ELT ใน Python
คำแนะนำการฝึกหัด
- รันไปป์ไลน์ ETL สามครั้งโดยใช้ลูป
for - แสดงค่า shape ของ
clean_tax_dataในแต่ละรอบของการรันไปป์ไลน์ - อ่าน DataFrame ที่เก็บอยู่ในไฟล์
"clean_tax_data.parquet"เข้าไปเก็บไว้ในตัวแปรto_validate - แสดงค่า shape ของ DataFrame
to_validateแล้วเปรียบเทียบกับ shape ของclean_tax_rateเพื่อให้มั่นใจว่าข้อมูลไม่ถูกทำซ้ำในแต่ละครั้งที่รันไปป์ไลน์
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Trigger the data pipeline to run three times
____ attempt in range(0, ____):
print(f"Attempt: {attempt}")
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
load(clean_tax_data, "clean_tax_data.parquet")
# Print the shape of the cleaned_tax_data DataFrame
print(f"Shape of clean_tax_data: {clean_tax_data.____}")
# Read in the loaded data, check the shape
to_validate = pd.____("clean_tax_data.parquet")
print(f"Final shape of cleaned data: {to_validate.____}")