Reprendre après un redémarrage
Votre pipeline de streaming chez Global Retail Analytics récupère de nouveaux fichiers CSV depuis un volume Unity Catalog et les écrit dans Delta Lake. Après une coupure le week-end, le cluster redémarre le lundi matin. Trois nouveaux fichiers sont arrivés pendant le week-end. Le flux ne traite que ces trois fichiers — aucun fichier de la semaine précédente n'est rechargé.
Qu'est-ce qui permet au flux d'ignorer les fichiers déjà traités et de reprendre exactement où il s'était arrêté ?
Cet exercice fait partie du cours
<cours>Transformation des données avec Spark SQL dans Databricks</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice