Bir FileSensor oluşturma
FileSensor'lar hakkında okuduktan sonra, onlarla kullanılan bazı parametreleri hissetmek için basit bir tane uygulamayı denemeye karar verdin. Bu FileSensor, devam etmeden önce belirli bir veri dosyasının mevcut olduğundan emin olmak için tasarlanacak.
Bir FileSensor, dosyayı düzenli aralıklarla yoklar ve timeout saniye dolduğunda beklemeyi bırakır. mode='reschedule' ile, yoklamalar arasında worker slotu serbest bırakılır.
Bu egzersiz, kursun bir parçasıdır
Python ile Apache Airflow’a Giriş
Egzersiz talimatları
- Bir FileSensor kullanmak için uygun kütüphaneyi içe aktar.
precheckbaşvurusunu FileSensor nesnesine ayarla.- FileSensor'un "salesdata_ready.csv" dosyasını aramasını sağla.
- Zaman aşımını 5 dakika olarak ayarla.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)