Crear un FileSensor
Después de leer sobre los FileSensors, decides implementar uno básico para familiarizarte con algunos de sus parámetros. Este FileSensor se utilizará para asegurarse de que un archivo de datos concreto esté presente antes de continuar.
Un FileSensor consulta la existencia del archivo a intervalos regulares y deja de esperar cuando han transcurrido timeout segundos. Con mode='reschedule', la ranura del worker se libera entre consultas.
Este ejercicio forma parte del curso
Introducción a Apache Airflow en Python
Instrucciones del ejercicio
- Importa la librería adecuada para usar un FileSensor.
- Asigna la referencia
precheckal objeto FileSensor. - Haz que el FileSensor busque el archivo "salesdata_ready.csv".
- Establece el timeout en 5 minutos.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)