只处理新增记录
计划任务与重试意味着相同数据可能到达两次。若无防护,重复行会不断堆积,所有下游报表都会偏离真实。幂等写入步骤可以避免此问题。
在插入之前添加一个 Data Table 的 Get row(s) 节点,然后加一个 Code 过滤器,比较 city 和 date —— 只有新的组合才会进入写入节点。
本练习是课程的一部分
计划任务与重试意味着相同数据可能到达两次。若无防护,重复行会不断堆积,所有下游报表都会偏离真实。幂等写入步骤可以避免此问题。
在插入之前添加一个 Data Table 的 Get row(s) 节点,然后加一个 Code 过滤器,比较 city 和 date —— 只有新的组合才会进入写入节点。
本练习是课程的一部分