创建一个 FileSensor
阅读了有关 FileSensor 的资料后,您决定实现一个基础示例,熟悉它常用的一些参数。这个 FileSensor 用来确保在继续之前,某个特定的数据文件已就绪。
FileSensor 会按固定时间间隔轮询该文件,并在经过 timeout 秒后停止等待。设置 mode='reschedule' 时,两次轮询之间会释放 worker 槽位。
本练习是课程的一部分
Python 中的 Apache Airflow 入门
练习说明
- 导入使用 FileSensor 所需的库。
- 将
precheck指向创建好的 FileSensor 对象。 - 让 FileSensor 查找文件 "salesdata_ready.csv"。
- 将超时时间设置为 5 分钟。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)