Partitioned पाइपलाइन बनाना
एक सामान्य asset event डाउनस्ट्रीम कंज़्यूमर्स को बताता है कि "कुछ बदला है", लेकिन यह नहीं बताता कि डेटा का कौन-सा स्लाइस बदला है। व्यवहार में, रिपोर्टिंग और एनालिटिक्स टीमें आमतौर पर केवल वही पार्टिशन दोबारा प्रोसेस करना चाहती हैं जो वास्तव में बदला हो, जैसे किसी एक दिन का, बजाय सबकुछ फिर से चलाने के। Asset partitions वह partition key डाउनस्ट्रीम तक ले जाती हैं ताकि कंज़्यूमर्स ठीक उसी सही स्लाइस पर रिएक्ट कर सकें। इस अभ्यास में, आप अपनी sales पाइपलाइन को डेली partition timetable पर शेड्यूल करेंगे और हर रन पर partitioned daily_sales event एमिट करेंगे।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Airflow के साथ Data Pipelines बनाना
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें