Возобновление работы после перезапуска

Ваш потоковый пайплайн в компании Global Retail Analytics считывает новые CSV-файлы из тома Unity Catalog и записывает их в Delta Lake. После выходных, в течение которых произошёл сбой, кластер перезапускается в понедельник утром. За выходные поступили три новых файла. Поток обрабатывает только эти три файла — файлы предыдущей недели не загружаются повторно.

Что позволяет потоку пропустить уже обработанные файлы и возобновить работу именно с того места, где она остановилась?