Сигналізація про наявність даних через вихід Asset
У вашої команди є конвеєр, що записує щоденні дані про продажі до s3://data-lake/sales/daily.csv, і від нього залежать кілька конвеєрів далі за потоком. Замість того щоб вони опитували стан за таймером або вгадували, коли файл буде готовий, ви додасте вихід Asset, щоб це завдання сигналізувало про оновлення даних одразу після завершення. Саме цей сигнал дає змогу іншим Dag'ам планувати запуск на основі самих даних.
Після доповнення коду запустіть файл, а потім перевірте, що актив було зареєстровано й оновлено, за допомогою Airflow CLI.
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу