시작하기무료로 시작하기

Airflow DAG

Airflow에서는 파이프라인을 Directed Acyclic Graph, 즉 DAG로 표현합니다. 그래프의 노드는 실행되는 작업을 나타내고, 노드 간의 방향이 있는 연결은 작업 간의 의존 관계를 나타냅니다.

일부 작업은 다른 작업이 시작되기 전에 완료되어야 하므로, 데이터 파이프라인을 DAG로 표현하는 것은 매우 합리적입니다. 이는 자동차 공장의 조립 라인과 비슷하다고 볼 수 있습니다. 작업은 순차적으로 쌓이며, 각 작업은 이전 작업이 완료되었는지에 따라 달라질 수 있습니다. 가상의 DAG는 다음과 같은 모습일 수 있습니다:

Example DAG

프레임을 조립하는 작업이 먼저 진행되고, 그다음 차체와 타이어 작업이 이어지며 마지막으로 도색 작업을 진행합니다. 위 예시를 코드로 구현해 보겠습니다.

이 연습은 강의의 일부입니다

데이터 엔지니어링 입문

강의 보기

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
코드 편집 및 실행