Configurarea unui sensor deferabil
Echipa ta rulează zeci de senzori în diferite pipeline-uri, iar sloturile de lucru devin un bottleneck. Chiar și în modul reschedule, fiecare senzor ocupă pe scurt un slot de fiecare dată când se trezește pentru a verifica. Modul deferabil merge mai departe, delegând așteptarea în întregime către Triggerer – un proces ușor care folosește async I/O și nu ocupă niciodată un slot de lucru.
Vei configura acest FileSensor pentru a profita de deferral.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul