시작하기무료로 시작하기

센서를 지연 가능(Deferrable) 모드로 설정하기

팀에서 여러 파이프라인에 걸쳐 수십 개의 센서를 운영하다 보면 워커 슬롯이 병목 지점이 되기 쉽습니다. reschedule 모드에서도 센서가 깨어나 확인할 때마다 잠깐씩 슬롯을 점유하게 됩니다. 지연 가능(Deferrable) 모드는 여기서 한 단계 더 나아가, 대기 작업 전체를 Triggerer에게 넘깁니다. Triggerer는 비동기 I/O를 사용하는 경량 프로세스로, 워커 슬롯을 전혀 점유하지 않습니다.

이번 실습에서는 FileSensor가 지연 가능 모드를 활용하도록 설정해 보겠습니다.

이 연습은 강의의 일부입니다

Airflow로 데이터 파이프라인 구축하기

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작