Gör en sensor deferrable
Ditt team kör dussintals sensorer i olika pipelines, och worker-slots börjar bli en flaskhals. Även i reschedule-läge upptar varje sensor kortvarigt en slot varje gång den vaknar för att kontrollera. Deferrable-läge går ett steg längre – det överlämnar hela väntan till Triggerer, en lättviktsprocess som använder asynkron I/O och aldrig upptar en worker-slot.
Du ska konfigurera den här FileSensor för att dra nytta av deferral.
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen