การสร้าง Pipeline แบบแบ่ง Partition
Asset event แบบธรรมดาจะแจ้ง consumer ปลายทางว่า "มีบางอย่างเปลี่ยนแปลง" แต่ไม่ได้บอกว่าเป็นข้อมูลส่วนใด ในทางปฏิบัติ ทีมรายงานและวิเคราะห์มักต้องการประมวลผลเฉพาะ partition ที่เปลี่ยนแปลงจริง เช่น ข้อมูลของวันเดียว แทนที่จะรันทุกอย่างใหม่ Asset Partitions จะส่ง partition key ไปยัง consumer ปลายทาง เพื่อให้ตอบสนองต่อข้อมูลส่วนที่ถูกต้องได้พอดี ในแบบฝึกหัดนี้ จะกำหนดตารางเวลาของ sales pipeline ด้วย daily partition timetable และส่ง daily_sales event แบบมี partition ในทุกครั้งที่รัน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Data Pipeline ด้วย Airflow
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด