Vytvoření FileSensoru

Po přečtení o FileSensorech se rozhodneš vyzkoušet si implementaci základního senzoru, abys lépe pochopil/a, jak fungují jeho parametry. Tento FileSensor bude hlídat, jestli je před dalším zpracováním přítomný konkrétní datový soubor.

FileSensor pravidelně kontroluje existenci souboru a přestane čekat buď po jeho nalezení, nebo po uplynutí timeout sekund. S nastavením mode='reschedule' se mezi jednotlivými kontrolami uvolní slot workeru.

Toto cvičení je součástí kurzu

Úvod do Apache Airflow v Pythonu

Zobrazit kurz

Pokyny k cvičení

Naimportuj příslušnou knihovnu pro použití FileSensoru.
Přiřaď do proměnné precheck objekt FileSensoru.
Nastav FileSensor tak, aby hledal soubor „salesdata_ready.csv".
Nastav timeout na 5 minut.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____

# Set the file sensor to an alias
precheck = ____(
  task_id='check_for_datafile',
  # Wait for this file to exist before continuing
  filepath='____',
  timeout=____,
  mode="reschedule"
)

Upravit a spustit kód