Retomando após uma reinicialização
Seu pipeline de streaming na Global Retail Analytics capta novos arquivos CSV de um volume do Unity Catalog e os grava no Delta Lake. Após uma indisponibilidade no fim de semana, o cluster reinicia na segunda-feira de manhã. Três novos arquivos chegaram durante o fim de semana. O stream processa apenas esses três arquivos — nenhum dos arquivos da semana anterior é recarregado.
O que permite que o stream ignore os arquivos já processados e retome exatamente de onde parou?
Este exercicio faz parte do curso
Transformação de Dados com Spark SQL no Databricks
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio