Quando usare poke, reschedule o deferrable
Il tuo team sta rivedendo le configurazioni dei sensori in tre pipeline:
- Pipeline A: un sensore controlla l'esistenza di un file che di solito arriva entro 10 secondi dall'avvio della Dag.
- Pipeline B: un sensore attende un flusso dati di un partner che arriva in una finestra di 4 ore. Ci sono 20 sensori simili in esecuzione contemporaneamente.
- Pipeline C: un sensore interroga un endpoint API ogni 2 minuti e in genere attende 15 minuti.
Qual è la combinazione di modalità dei sensori più adatta?
Questo esercizio fa parte del corso
Creare data pipeline con Airflow
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio