การข้ามข้อผิดพลาดในการ parse
ค่าที่ไม่ถูกต้อง คือข้อความ "unknown" หลุดเข้าไปในคอลัมน์ checkouts ของไฟล์ที่ได้รับจาก vendor โดยปกติแล้ว Polars จะหยุดทำงานทันทีหากไม่สามารถ parse ค่าให้ตรงกับ dtype ที่อนุมานไว้ได้ ให้บอก Polars ให้ข้ามข้อผิดพลาดเหล่านี้ เพื่อให้ทีมยังสามารถโหลดข้อมูลส่วนที่เหลือได้
แถวปกติและแถวที่มีค่าไม่ถูกต้องจะถูกแสดงผลให้ดูเพื่อให้เห็นภาพรวมของสถานการณ์
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การปรับขนาดและเพิ่มประสิทธิภาพ Data Pipeline ด้วย Polars
คำแนะนำการฝึกหัด
- เพิ่ม argument ที่บอกให้ Polars แปลงค่าที่มีปัญหาเป็น
nullแล้วสแกนข้อมูลต่อไป
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
result = pl.scan_csv(
MESSY_CSV_PATH,
separator=";",
skip_rows=2,
schema_overrides={
"checkouts": pl.Int64,
"branch_code": pl.String,
},
# Tolerate values that don't fit the schema
____=____,
).collect()
print(result)