การทำความสะอาดข้อมูลในทางปฏิบัติ

ในแบบฝึกหัดนี้ เราจะทำความสะอาดไฟล์ข้อมูลต้นฉบับที่มีรายการวิดีโอเกม คอลัมน์ประกอบด้วยชื่อเกม, ผู้เผยแพร่, ประเภท และคะแนนจากนักวิจารณ์ ไฟล์นี้มีแถวว่างและค่าซ้ำกันอยู่ด้วย นอกจากนี้ บางรายการในคอลัมน์ genre ยังเว้นว่างไว้ เราจะใช้ dataflow เพื่อลบแถวว่างและแถวที่ซ้ำกัน รวมถึงกำหนดค่าประเภทเริ่มต้นให้กับแถวที่คอลัมน์ดังกล่าวว่างอยู่

หมายเหตุ: หากเกิดข้อผิดพลาดเกี่ยวกับขีดจำกัดของ API rate limit ซึ่งมักเกิดขึ้นเมื่องาน Fabric ก่อนหน้ายังทำงานไม่เสร็จ สามารถดูงาน Fabric ที่กำลังทำงานอยู่ได้จากหน้า Monitor (อยู่ในเมนูแนวตั้งด้านซ้าย) การยกเลิกงาน Fabric เก่าในหน้า Monitor มักช่วยแก้ปัญหา rate limit error ได้