Crearea unui FileSensor

După ce ai citit despre FileSensors, decizi să implementezi unul de bază pentru a te familiariza cu parametrii folosiți. Acest FileSensor va fi configurat să verifice prezența unui fișier de date specific înainte de a continua.

Un FileSensor verifică existența fișierului la intervale regulate și oprește așteptarea odată ce au trecut timeout secunde. Cu mode='reschedule', slotul de worker este eliberat între verificări.

Acest exercițiu face parte din cursul

Introducere în Apache Airflow în Python

Vezi cursul

Instrucțiuni pentru exercițiu

Importă biblioteca corespunzătoare pentru a folosi un FileSensor.
Atribuie referința precheck obiectului FileSensor.
Configurează FileSensor-ul să caute fișierul "salesdata_ready.csv".
Setează timeout-ul la 5 minute.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____

# Set the file sensor to an alias
precheck = ____(
  task_id='check_for_datafile',
  # Wait for this file to exist before continuing
  filepath='____',
  timeout=____,
  mode="reschedule"
)

Editează și rulează codul