Планирование на основе партиционированных активов
Теперь, когда upstream-источник генерирует партиционированные события daily_sales, отчётный DAG может реагировать на них автоматически — запускаться только для той партиции, которая была только что обновлена, а не обрабатывать все даты заново. Upstream передаёт полную метку времени, но отчёту нужна только календарная дата. Именно для нормализации этого ключа и предназначен StartOfDayMapper. В этом упражнении вы настроите расписание downstream-отчёта на основе партиционированного актива и сопоставите каждое событие с соответствующим днём.
Upstream-источник уже заполнен в файле для контекста — в следующем упражнении вы увидите, как оба DAG работают вместе.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение