Konfigurowanie sensora do środowiska produkcyjnego
Twój pipeline używa FileSensor, który czeka na przychodzący raport CSV przed jego przetworzeniem. W domyślnym trybie poke sensor zajmuje slot workera przez cały czas oczekiwania, nawet gdy plik pojawia się dopiero po kilku minutach.
W środowisku produkcyjnym sensor powinien zwalniać slot między kolejnymi sprawdzeniami oraz mieć limit czasu, żeby nie czekał w nieskończoność.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie