ขั้นตอนของ Data Pipeline

ในฐานะ Data Engineer หลักของ Sierra Publishing คุณและทีมได้รับมอบหมายให้ทำความสะอาดข้อมูลรีวิวหนังสือเพื่อสร้างชุดข้อมูลที่พร้อมสำหรับการวิเคราะห์ให้กับนักวิเคราะห์และนักวิทยาศาสตร์ข้อมูล

เนื่องจากได้รับข้อมูลเข้ามาทุกวันจากพาร์ทเนอร์สำนักพิมพ์หลายราย จึงต้องสร้าง Data Pipeline ที่ทำงานอัตโนมัติและเชื่อถือได้สำหรับผู้ใช้ข้อมูลปลายทาง