Создание конвейера с партиционированием
Обычное событие ассета сообщает потребителям, что «что-то изменилось», но не указывает, какой именно фрагмент данных затронут. На практике команды по отчётности и аналитике, как правило, хотят обрабатывать только ту партицию, которая действительно изменилась, — например, один конкретный день, — а не перезапускать весь пайплайн. Партиции ассетов передают ключ партиции потребителям, чтобы те могли реагировать ровно на нужный фрагмент данных. В этом упражнении вы настроите расписание пайплайна продаж на основе ежедневных партиций и будете генерировать партиционированное событие daily_sales при каждом запуске.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение