НачатьНачать бесплатно

DAG в Airflow

В Airflow конвейер представлен в виде направленного ациклического графа, или DAG. Узлы графа обозначают задачи, которые выполняются. Направленные связи между узлами показывают зависимости между задачами.

Представление конвейера данных в виде DAG вполне логично, ведь некоторые задачи должны завершиться прежде, чем начнутся другие. Это можно сравнить со сборочной линией на автомобильном заводе: задачи выстраиваются последовательно, и каждая из них может зависеть от завершения предыдущих. Примерный DAG мог бы выглядеть так:

Example DAG

Сначала собирают раму, затем кузов и шины, и в конце красят. Давайте воспроизведём этот пример в коде.

Это упражнение является частью курса

Введение в дата-инжиниринг

Посмотреть курс

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Редактировать и запускать код