Een sensor deferrable maken
Je team draait tientallen sensors in verschillende pipelines, en workerslots worden een bottleneck. Zelfs in reschedule-modus bezet elke sensor kort een slot telkens als hij ontwaakt om te controleren. Deferrable-modus gaat nog verder door het wachten volledig over te dragen aan de Triggerer, een lichtgewicht proces dat async I/O gebruikt en nooit een workerslot bezet.
Je gaat deze FileSensor configureren om gebruik te maken van deferral.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening