重启后继续运行
您在 Global Retail Analytics 的流式管道会从 Unity Catalog 的卷中获取新增的 CSV 文件,并写入 Delta Lake。周末发生故障后,集群在周一早晨重启。周末新到达了 3 个文件。流只处理这 3 个文件——上周的文件都不会重新加载。
是什么机制让流能够跳过此前已处理的文件,并精确地从中断处恢复?
本练习是课程的一部分
您在 Global Retail Analytics 的流式管道会从 Unity Catalog 的卷中获取新增的 CSV 文件,并写入 Delta Lake。周末发生故障后,集群在周一早晨重启。周末新到达了 3 个文件。流只处理这 3 个文件——上周的文件都不会重新加载。
是什么机制让流能够跳过此前已处理的文件,并精确地从中断处恢复?
本练习是课程的一部分