시작하기무료로 시작하기

파이프라인을 멱등성 있게 만들기

동료가 만든 파이프라인은 실행할 때마다 판매 데이터를 추가(append)하기 때문에, 재실행하거나 백필(backfill)을 수행하면 중복 데이터가 생깁니다. staging 테이블과 sales 테이블 모두 date 컬럼(YYYY-MM-DD 형식)을 갖고 있습니다.

이제 이 파이프라인을 멱등성(idempotent) 있게 바꿔 보겠습니다. 스테이징 쿼리에 논리적 날짜(logical date) 필터를 추가하고, sales 테이블의 기존 행을 삭제하는 preoperator를 설정하세요.

이 연습은 강의의 일부입니다

Airflow로 데이터 파이프라인 구축하기

강의 보기

실습형 인터랙티브 연습문제

이론을 실습으로 바꾸는 인터랙티브 연습 중 하나를 만나보세요

연습 시작