Rendere un sensore deferibile
Il tuo team esegue decine di sensori su pipeline diverse e gli slot dei worker stanno diventando un collo di bottiglia. Anche in modalità reschedule, ogni sensore occupa brevemente uno slot ogni volta che si riattiva per controllare. La modalità deferibile fa un passo in più delegando l'attesa interamente al Triggerer, un processo leggero che usa I/O asincrono e non occupa mai uno slot del worker.
Configurerai questo FileSensor per sfruttare la deferral.
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio