ПочатиПочніть безкоштовно

DAG в Airflow

В Airflow конвеєр подання даних представлений у вигляді спрямованого ациклічного графа (Directed Acyclic Graph, DAG). Вузли графа — це завдання, які виконуються. Спрямовані зв'язки між вузлами відображають залежності між цими завданнями.

Подання конвеєра даних як DAG цілком логічне, адже деякі завдання мають завершитися, перш ніж інші зможуть початися. Це можна порівняти з конвеєром на автомобільному заводі. Завдання накопичуються, і кожне може залежати від завершення попередніх. Умовний DAG може виглядати так:

Example DAG

Спочатку збирають раму, потім — кузов і шини, а наостанок фарбують. Відтворімо цей приклад у коді.

Ця вправа є частиною курсу

Вступ до Data Engineering

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create the DAG
@dag(dag_id="car_factory_simulation",
     start_date=datetime(2024, 1, 1),
     schedule="____")
def car_factory_simulation():
    pass

# Run the DAG
car_factory_simulation()
Редагувати та запускати код