开始使用免费开始使用

让管道具备幂等性

一位同事的管道在每次运行时都会追加销售数据,因此重跑和回填会产生重复。stagingsales 两张表都有一个 date 列(格式为 YYYY-MM-DD)。

您的团队需要让该管道具备幂等性:按逻辑日期过滤 staging 查询,并添加一个 preoperator,在写入前先从 sales 表中删除已存在的行。

本练习是课程的一部分

使用 Airflow 构建数据流水线

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习