Konfigurace senzoru pro produkci
Tvůj pipeline používá FileSensor, který čeká na příchozí CSV report, než ho začne zpracovávat. Ve výchozím režimu poke senzor po celou dobu čekání blokuje worker slot – i když soubor dorazí až za několik minut.
V produkci by senzor měl slot mezi kontrolami uvolňovat a mít nastavený bezpečnostní timeout, aby nečekal donekonečna.
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení