시작하기무료로 시작하기

파티션 에셋이 다운스트림 Dag를 트리거하는 과정 살펴보기

이전 연습 문제에서 작성한 업스트림 sales_pipeline_v3와 다운스트림 sales_report Dag가 배포되어 실행 준비가 완료된 상태입니다. 판매 파이프라인은 매분 실행되며 실행할 때마다 파티션된 daily_sales 이벤트를 내보냅니다. 반면 리포트는 날짜 단위만 처리하면 됩니다. 바로 이를 위해 StartOfDayMapper가 사용됩니다. 이제 두 Dag가 함께 동작하는 과정을 직접 확인해 보세요.

아래 순서대로 진행하세요.

  1. Dags 뷰에서 먼저 sales_report를 활성화하여 에셋 이벤트가 도착했을 때 바로 반응할 수 있도록 준비합니다.
  2. 그런 다음 sales_pipeline_v3를 활성화합니다. 이 Dag는 매분 실행되며 실행할 때마다 파티션된 daily_sales 이벤트를 내보냅니다.
  3. sales_pipeline_v3가 완료될 때까지 약 1분 정도 기다립니다. 완료되면 에셋 이벤트를 통해 sales_report가 자동으로 트리거됩니다.
  4. sales_report를 열고 Runs 탭으로 이동한 뒤, 가장 최근 실행을 열어 실행 상세 정보 상단에서 Mapped Partition key를 확인합니다.

Mapped Partition key의 날짜 형식은 무엇인가요?

이 연습은 강의의 일부입니다

Airflow로 데이터 파이프라인 구축하기

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작