开始使用免费开始使用

为生产环境配置传感器

您的流水线使用 FileSensor 在处理之前等待传入的 CSV 报告。在默认的 poke 模式下,传感器在等待的整个过程中都会占用一个 worker 插槽,即使文件需要几分钟才会到达。

在生产环境中,传感器应在两次检查之间释放插槽,并设置安全超时,避免无限期等待。

本练习是课程的一部分

使用 Airflow 构建数据流水线

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习