การทำความสะอาดชุดข้อมูลการค้าปลีกออนไลน์

คุณเป็น data engineer ที่ Global Retail Analytics ผู้จัดการตรวจพบปัญหาคุณภาพข้อมูลในชุดข้อมูล online_retail ไม่ว่าจะเป็น Customer ID ที่หายไป แถวข้อมูลซ้ำ และรายการที่ถูกยกเลิก ซึ่งทำให้รายงานประจำสัปดาห์คลาดเคลื่อน

ก่อนที่จะเริ่มวิเคราะห์ข้อมูลได้ ต้องกำหนด schema อย่างชัดเจน วินิจฉัยปัญหาคุณภาพข้อมูล และสร้าง pipeline สำหรับทำความสะอาดข้อมูลเพื่อลบระเบียนที่ไม่ถูกต้องออก