시작하기무료로 시작하기

파티션된 에셋 스케줄링

업스트림이 파티션된 daily_sales 이벤트를 발행하면, 리포팅 DAG는 이를 자동으로 감지해 모든 날짜를 재처리하는 대신 방금 새로 고쳐진 파티션에 대해서만 실행됩니다. 업스트림은 전체 타임스탬프를 발행하지만, 리포트는 날짜 정보만 필요로 합니다. 이 키를 정규화하는 역할을 하는 것이 바로 StartOfDayMapper입니다. 이번 연습 문제에서는 파티션된 에셋에 다운스트림 리포트를 스케줄링하고, 각 이벤트를 해당 날짜로 매핑해 보겠습니다.

업스트림은 참고용으로 파일에 미리 채워져 있으며, 다음 연습 문제에서 두 DAG가 함께 동작하는 모습을 확인할 수 있습니다.

이 연습은 강의의 일부입니다

Airflow로 데이터 파이프라인 구축하기

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작