การตรวจสอบความถูกต้องของดาต้าไปป์ไลน์ที่ "จุดตรวจ"
ในแบบฝึกหัดนี้ คุณจะทำงานกับดาต้าไปป์ไลน์ที่ดึงข้อมูลภาษีจากไฟล์ CSV สร้างคอลัมน์ใหม่ กรองแถวข้อมูลตามรายได้เฉลี่ยที่ต้องเสียภาษี แล้วบันทึกข้อมูลลงในไฟล์ parquet
มีการโหลด pandas ไว้ในชื่อ pd แล้ว และมีการกำหนดฟังก์ชัน extract(), transform() และ load() ไว้ล่วงหน้าแล้ว คุณจะใช้ฟังก์ชันเหล่านี้เพื่อตรวจสอบความถูกต้องของดาต้าไปป์ไลน์ที่จุดตรวจต่าง ๆ ตลอดการทำงาน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL and ELT ใน Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Extract and transform tax_data
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Check the shape of the raw_tax_data DataFrame, compare to the clean_tax_data DataFrame
print(f"Shape of raw_tax_data: {raw_tax_data.____}")
print(f"Shape of clean_tax_data: {____}")