Aan de slagBegin gratis

Een sensor deferrable maken

Je team draait tientallen sensors in verschillende pipelines, en workerslots worden een bottleneck. Zelfs in reschedule-modus bezet elke sensor kort een slot telkens als hij ontwaakt om te controleren. Deferrable-modus gaat nog verder door het wachten volledig over te dragen aan de Triggerer, een lichtgewicht proces dat async I/O gebruikt en nooit een workerslot bezet.

Je gaat deze FileSensor configureren om gebruik te maken van deferral.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening