1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do Apache Airflow w Pythonie
Connected

ćwiczenie

Tworzenie FileSensora

Po zapoznaniu się z FileSensorami postanawiasz zaimplementować podstawowy przykład, żeby lepiej poznać dostępne parametry. Ten FileSensor będzie sprawdzał, czy określony plik z danymi jest obecny, zanim pipeline przejdzie dalej.

FileSensor odpytuje o plik w regularnych odstępach czasu i kończy oczekiwanie po upływie timeout sekund. Dzięki mode='reschedule' slot roboczy jest zwalniany pomiędzy kolejnymi sprawdzeniami.

Instrukcje

100 XP
  • Zaimportuj odpowiednią bibliotekę, aby móc użyć FileSensora.
  • Przypisz do zmiennej precheck obiekt FileSensor.
  • Skonfiguruj FileSensor tak, aby szukał pliku "salesdata_ready.csv".
  • Ustaw timeout na 5 minut.