Nach einem Neustart fortsetzen

Deine Streaming-Pipeline bei Global Retail Analytics nimmt neue CSV-Dateien aus einem Unity-Catalog-Volume auf und schreibt sie nach Delta Lake. Nach einem Ausfall am Wochenende startet der Cluster am Montagmorgen neu. Über das Wochenende sind drei neue Dateien eingetroffen. Der Stream verarbeitet nur diese drei Dateien – keine der Dateien aus der Vorwoche wird erneut geladen.

Was ermöglicht es dem Stream, bereits verarbeitete Dateien zu überspringen und genau dort weiterzumachen, wo er aufgehört hat?