ÎncepețiÎncepe gratuit

Configurarea unui sensor deferabil

Echipa ta rulează zeci de senzori în diferite pipeline-uri, iar sloturile de lucru devin un bottleneck. Chiar și în modul reschedule, fiecare senzor ocupă pe scurt un slot de fiecare dată când se trezește pentru a verifica. Modul deferabil merge mai departe, delegând așteptarea în întregime către Triggerer – un proces ușor care folosește async I/O și nu ocupă niciodată un slot de lucru.

Vei configura acest FileSensor pentru a profita de deferral.

Acest exercițiu face parte din cursul

Construirea pipeline-urilor de date cu Airflow

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul