Comece agoraComece grátis

Retomando após uma reinicialização

Seu pipeline de streaming na Global Retail Analytics capta novos arquivos CSV de um volume do Unity Catalog e os grava no Delta Lake. Após uma indisponibilidade no fim de semana, o cluster reinicia na segunda-feira de manhã. Três novos arquivos chegaram durante o fim de semana. O stream processa apenas esses três arquivos — nenhum dos arquivos da semana anterior é recarregado.

O que permite que o stream ignore os arquivos já processados e retome exatamente de onde parou?

Este exercicio faz parte do curso

Transformação de Dados com Spark SQL no Databricks

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio