시작하기무료로 시작하기

Airflow DAGs

Airflow에서는 파이프라인을 DAG(Directed Acyclic Graph, 유향 비순환 그래프)으로 표현해요. 그래프의 노드는 실행되는 작업(task)을 나타내고, 노드 간의 유향 연결은 작업 간의 의존성을 의미합니다.

데이터 파이프라인을 DAG로 표현하는 것은 매우 합리적이에요. 어떤 작업은 다른 작업이 끝나야 시작할 수 있기 때문이죠. 자동차 공장의 조립 라인과 비슷하다고 볼 수 있어요. 작업이 차곡차곡 쌓이고, 각 작업은 이전 작업이 완료되어야 진행할 수 있습니다. 예시 DAG는 다음과 같을 수 있어요:

Example DAG

먼저 프레임을 조립하고, 그다음 차체와 타이어를 장착한 뒤 마지막에 도색을 합니다. 이제 위 예시를 코드로 재현해 보겠습니다.

이 연습은 강의의 일부입니다

데이터 엔지니어링 입문

강의 보기

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
코드 편집 및 실행