НачатьНачать бесплатно

DAG в Airflow

В Airflow пайплайн представлен в виде направленного ациклического графа (DAG). Узлы графа соответствуют выполняемым задачам. Направленные связи между узлами отражают зависимости между задачами.

Представление пайплайна данных в виде DAG — вполне логичное решение, поскольку одни задачи должны завершиться раньше, чем начнутся другие. Это можно сравнить с конвейером на автомобильном заводе: задачи выполняются последовательно, и каждая из них может зависеть от завершения предыдущих. Пример такого DAG выглядит следующим образом:

Example DAG

Сначала собирается рама, затем кузов и колёса, и наконец выполняется покраска. Воспроизведём этот пример в коде.

Это упражнение является частью курса

Введение в дата-инжиниринг

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Редактировать и запускать код