НачатьНачать бесплатно

Сигнализация о доступности данных с помощью Asset outlet

В вашей команде есть пайплайн, который записывает ежедневные данные о продажах в s3://data-lake/sales/daily.csv, и от него зависят несколько последующих пайплайнов. Вместо того чтобы они постоянно опрашивали таймер или пытались угадать, когда файл готов, вы подключите Asset outlet — и задача будет сигнализировать об обновлении данных сразу по завершении. Именно этот сигнал позволит другим DAG-ам планировать запуск на основе самих данных.

После того как код будет готов, запустите файл, а затем проверьте, что ресурс зарегистрирован и обновлён, с помощью Airflow CLI.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение