Сигнализация о доступности данных с помощью Asset outlet
В вашей команде есть пайплайн, который записывает ежедневные данные о продажах в s3://data-lake/sales/daily.csv, и от него зависят несколько последующих пайплайнов. Вместо того чтобы они постоянно опрашивали таймер или пытались угадать, когда файл готов, вы подключите Asset outlet — и задача будет сигнализировать об обновлении данных сразу по завершении. Именно этот сигнал позволит другим DAG-ам планировать запуск на основе самих данных.
После того как код будет готов, запустите файл, а затем проверьте, что ресурс зарегистрирован и обновлён, с помощью Airflow CLI.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение