ПочатиПочніть безкоштовно

DAG-и в Airflow

В Airflow конвеєр подання даних подають як орієнтований ациклічний граф, або DAG. Вузли графа відповідають завданням, які виконуються. Спрямовані зв'язки між вузлами відображають залежності між завданнями.

Подання конвеєра даних у вигляді DAG цілком логічне, адже деякі завдання мають завершитися, перш ніж можуть початися інші. Це можна порівняти зі складальною лінією на автомобільному заводі. Завдання нашаровуються, і кожне може залежати від завершення попередніх. Умовний DAG може виглядати приблизно так:

Example DAG

Спочатку відбувається збирання рами, потім — встановлення кузова й шин, а насамкінець — фарбування. Відтворімо приклад вище в коді.

Ця вправа є частиною курсу

Вступ до Data Engineering

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create the DAG object
dag = DAG(dag_id="car_factory_simulation",
          default_args={"owner": "airflow","start_date": airflow.utils.dates.days_ago(2)},
          schedule_interval="____")
Редагувати та запускати код