Skapa en FileSensor
Efter att ha läst om FileSensors bestämmer du dig för att implementera en enkel sådan och bekanta dig med några av de parametrar som används. Den här FileSensorn är utformad för att kontrollera att en specifik datafil finns på plats innan körningen fortsätter.
En FileSensor söker efter filen med jämna mellanrum och slutar vänta när timeout sekunder har förflutit. Med mode='reschedule' frigörs worker-slotten mellan varje sökning.
Den här övningen är en del av kursen
Introduktion till Apache Airflow i Python
Övningsinstruktioner
- Importera lämpligt bibliotek för att använda en FileSensor.
- Sätt
precheck-referensen till FileSensor-objektet. - Konfigurera FileSensorn så att den letar efter filen "salesdata_ready.csv".
- Sätt timeout till 5 minuter.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)