शुरू करेंमुफ़्त में शुरू करें

Partitioned assets पर scheduling

अब जब upstream partitioned daily_sales इवेंट्स emit करता है, तो reporting Dag उन पर अपने-आप रिएक्ट कर सकता है। यह हर तारीख को फिर से प्रोसेस करने की बजाय सिर्फ उसी partition के लिए रन होगा जिसे अभी-अभी रिफ्रेश किया गया है। Upstream पूरा timestamp emit करता है, लेकिन रिपोर्ट को केवल कैलेंडर डेट की परवाह है; उसी key को normalize करना StartOfDayMapper का काम है।इस अभ्यास में, आप downstream रिपोर्ट को partitioned asset पर schedule करेंगे और हर इवेंट को उसके दिन से मैप करेंगे।

संदर्भ के लिए upstream को फ़ाइल में पहले से भरा गया है, और अगली कसरत में आप दोनों Dags को साथ काम करते हुए देखेंगे।

यह अभ्यास पाठ्यक्रम का हिस्सा है

Airflow के साथ Data Pipelines बनाना

पाठ्यक्रम देखें

इंटरैक्टिव व्यावहारिक अभ्यास

हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें

अभ्यास शुरू करें