使用 expand 处理多个端点
您的团队需要从多个会随时间变化的 API 端点拉取数据。若为每个端点硬编码一个独立任务,一旦新增或移除端点就得修改 Dag。在本练习中,您将把这条僵化的流水线改造成数据驱动:借助 expand(),Airflow 会在运行时读取端点列表,并为列表中的每一项启动一个任务实例,这样当端点数量发生变化时,流水线会自动调整。
本练习是课程的一部分
您的团队需要从多个会随时间变化的 API 端点拉取数据。若为每个端点硬编码一个独立任务,一旦新增或移除端点就得修改 Dag。在本练习中,您将把这条僵化的流水线改造成数据驱动:借助 expand(),Airflow 会在运行时读取端点列表,并为列表中的每一项启动一个任务实例,这样当端点数量发生变化时,流水线会自动调整。
本练习是课程的一部分