Membuat FileSensor
Setelah membaca tentang FileSensor, Anda memutuskan untuk mencoba mengimplementasikan versi dasarnya untuk memahami beberapa parameter yang digunakan. FileSensor ini dirancang untuk memastikan sebuah file data tertentu tersedia sebelum melanjutkan.
Sebuah FileSensor memeriksa ketersediaan file pada interval tetap dan berhenti menunggu setelah timeout detik berlalu. Dengan mode='reschedule', slot worker akan dilepas di antara pemeriksaan.
Latihan ini merupakan bagian dari kursus
Pengantar Apache Airflow dengan Python
Instruksi latihan
- Impor pustaka yang sesuai untuk menggunakan FileSensor.
- Atur referensi
precheckke objek FileSensor. - Buat FileSensor mencari file "salesdata_ready.csv".
- Atur timeout menjadi 5 menit.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)