Een FileSensor maken
Na het lezen over FileSensors besluit je een eenvoudige te implementeren om gevoel te krijgen voor de parameters die je kunt gebruiken. Deze FileSensor zorgt ervoor dat een specifiek databestand aanwezig is voordat er wordt doorgegaan.
Een FileSensor controleert op regelmatige intervallen of het bestand er is en stopt met wachten zodra er timeout seconden zijn verstreken. Met mode='reschedule' komt de workerslot tussen de controles vrij.
Deze oefening maakt deel uit van de cursus
Introductie tot Apache Airflow in Python
Oefeninstructies
- Importeer de juiste bibliotheek om een FileSensor te gebruiken.
- Stel de referentie
precheckin op het FileSensor-object. - Laat de FileSensor zoeken naar het bestand "salesdata_ready.csv".
- Stel de timeout in op 5 minuten.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)