이전 연습 문제에서 작성한 업스트림 sales_pipeline_v3와 다운스트림 sales_report Dag가 배포되어 실행 준비가 완료된 상태입니다. 판매 파이프라인은 매분 실행되며 실행할 때마다 파티션된 daily_sales 이벤트를 내보냅니다. 반면 리포트는 날짜 단위만 처리하면 됩니다. 바로 이를 위해 StartOfDayMapper가 사용됩니다. 이제 두 Dag가 함께 동작하는 과정을 직접 확인해 보세요.

아래 순서대로 진행하세요.

Dags 뷰에서 먼저 sales_report를 활성화하여 에셋 이벤트가 도착했을 때 바로 반응할 수 있도록 준비합니다.
그런 다음 sales_pipeline_v3를 활성화합니다. 이 Dag는 매분 실행되며 실행할 때마다 파티션된 daily_sales 이벤트를 내보냅니다.
sales_pipeline_v3가 완료될 때까지 약 1분 정도 기다립니다. 완료되면 에셋 이벤트를 통해 sales_report가 자동으로 트리거됩니다.
sales_report를 열고 Runs 탭으로 이동한 뒤, 가장 최근 실행을 열어 실행 상세 정보 상단에서 Mapped Partition key를 확인합니다.

Mapped Partition key의 날짜 형식은 무엇인가요?

Asset Partition을 활용한 파티션 인식 스케줄링

Create Your Free Account