Inizia subitoInizia gratis

Rendere un sensore deferibile

Il tuo team esegue decine di sensori su pipeline diverse e gli slot dei worker stanno diventando un collo di bottiglia. Anche in modalità reschedule, ogni sensore occupa brevemente uno slot ogni volta che si riattiva per controllare. La modalità deferibile fa un passo in più delegando l'attesa interamente al Triggerer, un processo leggero che usa I/O asincrono e non occupa mai uno slot del worker.

Configurerai questo FileSensor per sfruttare la deferral.

Questo esercizio fa parte del corso

Creare data pipeline con Airflow

Visualizza corso

esercizio interattivo pratico

Trasforma la teoria in pratica con uno dei nostri esercizi interattivi

Inizia esercizio