Configurare un sensore per la produzione
La tua pipeline usa un FileSensor per aspettare l'arrivo di un report CSV prima di elaborarlo. Nel poke mode predefinito, il sensore occupa uno slot del worker per tutto il tempo in cui attende, anche se il file impiega diversi minuti ad arrivare.
In produzione, un sensore dovrebbe rilasciare lo slot tra un controllo e l'altro e avere un timeout di sicurezza, così da non restare in attesa all'infinito.
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio