เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ส่งสัญญาณความพร้อมของข้อมูลด้วย Asset outlet

ทีมของคุณมี pipeline ที่เขียนข้อมูลยอดขายรายวันไปยัง s3://data-lake/sales/daily.csv และมี pipeline ปลายทางหลายตัวที่ต้องรอข้อมูลชุดนี้ แทนที่จะให้ pipeline เหล่านั้นคอยตรวจสอบตามเวลาหรือเดาเองว่าไฟล์พร้อมหรือยัง เราจะเพิ่ม Asset outlet เพื่อให้ task นี้ส่งสัญญาณว่าข้อมูลอัปเดตแล้วทันทีที่ทำงานเสร็จ สัญญาณนี้แหละที่ช่วยให้ Dag อื่นกำหนดเวลารันตามข้อมูลได้โดยตรง

เมื่อเขียนโค้ดเสร็จแล้ว ให้รันไฟล์ จากนั้นตรวจสอบว่า asset ถูกลงทะเบียนและอัปเดตแล้วโดยใช้ Airflow CLI

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การสร้าง Data Pipeline ด้วย Airflow

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด