FileSensor の作成
FileSensor について学んだので、実際にシンプルな FileSensor を実装して、主なパラメーターの使い方を確認してみましょう。ここで作成する FileSensor は、処理を続行する前に特定のデータファイルが存在するかどうかを確認するためのものです。
FileSensor は一定の間隔でファイルの存在を確認し、timeout 秒が経過すると待機を停止します。mode='reschedule' を指定すると、確認の間隔中にワーカースロットが解放されます。
この演習はコースの一部です
Python で学ぶ Apache Airflow 入門
演習の手順
- FileSensor を使用するために適切なライブラリをインポートしてください。
precheck参照を FileSensor オブジェクトに設定してください。- FileSensor が「salesdata_ready.csv」というファイルを検索するように設定してください。
- タイムアウトを 5 分に設定してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)