Kdy použít poke, reschedule, nebo deferrable
Tvůj tým prochází konfigurace sensorů ve třech pipeline:
- Pipeline A: Sensor čeká na soubor, který obvykle dorazí do 10 sekund od spuštění DAGu.
- Pipeline B: Sensor čeká na datový feed od partnera, který přijde kdykoli v průběhu 4hodinového okna. Souběžně běží 20 podobných sensorů.
- Pipeline C: Sensor kontroluje API endpoint každé 2 minuty a typicky čeká přibližně 15 minut.
Která kombinace režimů sensorů je nejlepší volbou?
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení