НачатьНачать бесплатно

Планирование на основе партиционированных активов

Теперь, когда upstream-источник генерирует партиционированные события daily_sales, отчётный DAG может реагировать на них автоматически — запускаться только для той партиции, которая была только что обновлена, а не обрабатывать все даты заново. Upstream передаёт полную метку времени, но отчёту нужна только календарная дата. Именно для нормализации этого ключа и предназначен StartOfDayMapper. В этом упражнении вы настроите расписание downstream-отчёта на основе партиционированного актива и сопоставите каждое событие с соответствующим днём.

Upstream-источник уже заполнен в файле для контекста — в следующем упражнении вы увидите, как оба DAG работают вместе.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение