Airflow DAGs

Airflow에서는 파이프라인을 DAG(Directed Acyclic Graph, 유향 비순환 그래프)으로 표현해요. 그래프의 노드는 실행되는 작업(task)을 나타내고, 노드 간의 유향 연결은 작업 간의 의존성을 의미합니다.

데이터 파이프라인을 DAG로 표현하는 것은 매우 합리적이에요. 어떤 작업은 다른 작업이 끝나야 시작할 수 있기 때문이죠. 자동차 공장의 조립 라인과 비슷하다고 볼 수 있어요. 작업이 차곡차곡 쌓이고, 각 작업은 이전 작업이 완료되어야 진행할 수 있습니다. 예시 DAG는 다음과 같을 수 있어요:

Example DAG