파티션 에셋이 다운스트림 Dag를 트리거하는 과정 살펴보기
이전 연습 문제에서 작성한 업스트림 sales_pipeline_v3와 다운스트림 sales_report Dag가 배포되어 실행 준비가 완료된 상태입니다. 판매 파이프라인은 매분 실행되며 실행할 때마다 파티션된 daily_sales 이벤트를 내보냅니다. 반면 리포트는 날짜 단위만 처리하면 됩니다. 바로 이를 위해 StartOfDayMapper가 사용됩니다. 이제 두 Dag가 함께 동작하는 과정을 직접 확인해 보세요.
아래 순서대로 진행하세요.
- Dags 뷰에서 먼저
sales_report를 활성화하여 에셋 이벤트가 도착했을 때 바로 반응할 수 있도록 준비합니다. - 그런 다음
sales_pipeline_v3를 활성화합니다. 이 Dag는 매분 실행되며 실행할 때마다 파티션된daily_sales이벤트를 내보냅니다. sales_pipeline_v3가 완료될 때까지 약 1분 정도 기다립니다. 완료되면 에셋 이벤트를 통해sales_report가 자동으로 트리거됩니다.sales_report를 열고 Runs 탭으로 이동한 뒤, 가장 최근 실행을 열어 실행 상세 정보 상단에서 Mapped Partition key를 확인합니다.
Mapped Partition key의 날짜 형식은 무엇인가요?
이 연습은 강의의 일부입니다
