Przekształcanie sensora w deferrable
Twój zespół korzysta z dziesiątek sensorów w różnych pipeline'ach, a sloty robocze stają się wąskim gardłem. Nawet w trybie reschedule każdy sensor na chwilę zajmuje slot przy każdym przebudzeniu, żeby sprawdzić warunek. Tryb deferrable idzie o krok dalej — całkowicie oddaje oczekiwanie do Triggerera, lekkiego procesu korzystającego z asynchronicznego I/O, który nigdy nie zajmuje slotu roboczego.
Skonfigurujesz ten FileSensor, żeby korzystał z odroczenia.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie