การตั้งค่า ETL Pipeline สำหรับยอดขาย

คุณได้เรียนรู้เกี่ยวกับการทำงานของ Airflow มาอย่างมากแล้ว ถึงเวลาแล้วที่จะนำ workflow ไปใช้งานจริงในรูปแบบ production pipeline ที่ประกอบด้วยออบเจ็กต์ต่าง ๆ ทั้ง task และ sensor หัวหน้าของคุณต้องการให้ workflow นี้ทำงานแบบอัตโนมัติและสามารถสร้างรายงานได้ เนื่องจากจะช่วยเพิ่มโอกาสในการปิดดีลที่ทีมขายกำลังดำเนินการอยู่ ลูกค้าเป้าหมายระบุว่าเมื่อเห็นข้อมูลอัปเดตแบบอัตโนมัติแล้ว พร้อมจะสมัครใช้บริการข้อมูลที่เสนอไป

จากที่ได้ศึกษากระบวนการนี้มา รู้ว่าจะมีข้อมูลยอดขายถูกอัปโหลดเข้าสู่ระบบ เมื่ออัปโหลดเสร็จแล้ว ควรมีการสร้างไฟล์ใหม่เพื่อเริ่มกระบวนการประมวลผลทั้งหมด แต่ขณะนี้ยังมีบางอย่างที่ไม่ทำงานอย่างถูกต้อง