Tworzenie FileSensora
Po zapoznaniu się z FileSensorami postanawiasz zaimplementować podstawowy przykład, żeby lepiej poznać dostępne parametry. Ten FileSensor będzie sprawdzał, czy określony plik z danymi jest obecny, zanim pipeline przejdzie dalej.
FileSensor odpytuje o plik w regularnych odstępach czasu i kończy oczekiwanie po upływie timeout sekund. Dzięki mode='reschedule' slot roboczy jest zwalniany pomiędzy kolejnymi sprawdzeniami.
To ćwiczenie jest częścią kursu
Wprowadzenie do Apache Airflow w Pythonie
Instrukcje do ćwiczenia
- Zaimportuj odpowiednią bibliotekę, aby móc użyć FileSensora.
- Przypisz do zmiennej
precheckobiekt FileSensor. - Skonfiguruj FileSensor tak, aby szukał pliku
"salesdata_ready.csv". - Ustaw timeout na 5 minut.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)