Membuat FileSensor
Setelah membaca tentang FileSensor, Anda memutuskan untuk mencoba mengimplementasikan versi dasarnya untuk memahami beberapa parameter yang digunakan. FileSensor ini dirancang untuk memastikan sebuah file data tertentu tersedia sebelum melanjutkan.
Sebuah FileSensor memeriksa ketersediaan file pada interval tetap dan berhenti menunggu setelah timeout detik berlalu. Dengan mode='reschedule', slot worker akan dilepas di antara pemeriksaan.
Latihan ini adalah bagian dari kursus
Pengantar Apache Airflow dengan Python
Petunjuk latihan
- Impor pustaka yang sesuai untuk menggunakan FileSensor.
- Atur referensi
precheckke objek FileSensor. - Buat FileSensor mencari file "salesdata_ready.csv".
- Atur timeout menjadi 5 menit.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)