रीस्टार्ट के बाद फिर से शुरू करना

Global Retail Analytics में आपकी streaming pipeline Unity Catalog वॉल्यूम से नई CSV फाइलें उठाती है और उन्हें Delta Lake में लिखती है. वीकेंड आउटेज के बाद, क्लस्टर सोमवार सुबह रीस्टार्ट होता है. वीकेंड के दौरान तीन नई फाइलें आईं. स्ट्रीम केवल उन्हीं तीन फाइलों को प्रोसेस करती है — पिछले हफ्ते की कोई फाइल दोबारा लोड नहीं होती.

ऐसा क्या है जो स्ट्रीम को पहले से प्रोसेस की गई फाइलों को स्किप करने और ठीक वहीं से फिर शुरू करने देता है जहाँ वह रुकी थी?