Een sensor configureren voor productie
Je pijplijn gebruikt een FileSensor om te wachten op een binnenkomend CSV-rapport voordat het wordt verwerkt. In de standaard poke-modus houdt de sensor de hele wachttijd een workerslot bezet, zelfs als het bestand pas na enkele minuten binnenkomt.
Voor productie moet een sensor het slot tussen controles vrijgeven en een veiligheidstime-out hebben, zodat hij niet eindeloos blijft wachten.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening