재시작 후 스트리밍 재개
Global Retail Analytics의 스트리밍 파이프라인은 Unity Catalog 볼륨에서 새 CSV 파일을 읽어 Delta Lake에 씁니다. 주말 동안 서비스 중단이 발생한 후, 월요일 아침에 클러스터가 재시작되었습니다. 주말 사이에 새 파일 세 개가 도착했고, 스트림은 해당 파일 세 개만 처리합니다. 이전 주의 파일들은 다시 읽히지 않습니다.
스트림이 이미 처리된 파일을 건너뛰고 정확히 중단된 지점부터 재개할 수 있는 이유는 무엇인가요?
이 연습은 강의의 일부입니다
