ส่งสัญญาณความพร้อมของข้อมูลด้วย Asset outlet
ทีมของคุณมี pipeline ที่เขียนข้อมูลยอดขายรายวันไปยัง s3://data-lake/sales/daily.csv และมี pipeline ปลายทางหลายตัวที่ต้องรอข้อมูลชุดนี้ แทนที่จะให้ pipeline เหล่านั้นคอยตรวจสอบตามเวลาหรือเดาเองว่าไฟล์พร้อมหรือยัง เราจะเพิ่ม Asset outlet เพื่อให้ task นี้ส่งสัญญาณว่าข้อมูลอัปเดตแล้วทันทีที่ทำงานเสร็จ สัญญาณนี้แหละที่ช่วยให้ Dag อื่นกำหนดเวลารันตามข้อมูลได้โดยตรง
เมื่อเขียนโค้ดเสร็จแล้ว ให้รันไฟล์ จากนั้นตรวจสอบว่า asset ถูกลงทะเบียนและอัปเดตแล้วโดยใช้ Airflow CLI
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Data Pipeline ด้วย Airflow
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด