การตั้งเวลาบน Asset ที่แบ่ง Partition
เมื่อ upstream ส่งออกอีเวนต์ daily_sales แบบแบ่ง Partition แล้ว Dag สำหรับรายงานก็สามารถตอบสนองต่ออีเวนต์เหล่านั้นได้โดยอัตโนมัติ โดยรันเฉพาะ Partition ที่เพิ่งได้รับการรีเฟรชเท่านั้น แทนที่จะประมวลผลทุกวันซ้ำตั้งแต่ต้น upstream ส่งออก timestamp แบบเต็ม แต่รายงานต้องการเพียงวันที่ตามปฏิทิน การ normalize key นี้คือหน้าที่ของ StartOfDayMapper ในแบบฝึกหัดนี้ คุณจะตั้งเวลาให้รายงาน downstream ทำงานบน Asset ที่แบ่ง Partition และ map แต่ละอีเวนต์ไปยังวันที่ที่เกี่ยวข้อง
ส่วน upstream ได้ถูกเติมไว้ในไฟล์แล้วเพื่อใช้เป็นข้อมูลอ้างอิง และในแบบฝึกหัดถัดไปคุณจะได้เห็น Dag ทั้งสองทำงานร่วมกัน
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Data Pipeline ด้วย Airflow
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด