การตรวจสอบความถูกต้องของ data pipeline ด้วย assert
ในการเขียน unit test สำหรับ data pipeline สิ่งสำคัญคือต้องทำความคุ้นเคยกับคีย์เวิร์ด assert และฟังก์ชัน isinstance() ในแบบฝึกหัดนี้ จะได้ฝึกใช้เครื่องมือทั้งสองเพื่อตรวจสอบความถูกต้องของส่วนประกอบต่าง ๆ ใน data pipeline
ฟังก์ชัน extract() และ transform() ได้ถูกเตรียมไว้ให้แล้ว พร้อมกับ pandas ที่ import มาในชื่อ pd ทั้ง extract() และ transform() จะคืนค่าเป็น DataFrame โชคดีนะครับ!
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL และ ELT ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
raw_tax_data = extract("raw_tax_data.csv")
clean_tax_data = transform(raw_tax_data)
# Validate the number of columns in the DataFrame
____ len(clean_tax_data.columns) == ____