Планирование потребительского DAG на основе Asset
Теперь, когда производящий DAG продаж сигнализирует о готовности данных, вам нужен потребительский DAG, который запускается автоматически при каждом обновлении ресурса. Определите тот же ресурс (s3://data-lake/sales/daily.csv) и укажите его в расписании потребительского DAG, чтобы Airflow запускал его после каждого обновления.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение