Zacznij terazZacznij za darmo

Konfigurowanie sensora do środowiska produkcyjnego

Twój pipeline używa FileSensor, który czeka na przychodzący raport CSV przed jego przetworzeniem. W domyślnym trybie poke sensor zajmuje slot workera przez cały czas oczekiwania, nawet gdy plik pojawia się dopiero po kilku minutach.

W środowisku produkcyjnym sensor powinien zwalniać slot między kolejnymi sprawdzeniami oraz mieć limit czasu, żeby nie czekał w nieskończoność.

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie