poke, reschedule, deferrable 모드는 언제 사용할까요
팀에서 세 파이프라인의 센서 구성을 검토하고 있습니다.
- Pipeline A: DAG가 시작된 후 보통 10초 이내에 도착하는 파일을 확인하는 센서입니다.
- Pipeline B: 4시간 내에 도착하는 파트너 데이터 피드를 기다리는 센서입니다. 유사한 센서 20개가 동시에 실행되고 있습니다.
- Pipeline C: API 엔드포인트를 2분마다 확인하며, 일반적으로 15분 정도 대기합니다.
가장 적합한 센서 모드 조합은 무엇일까요?
이 연습은 강의의 일부입니다
