НачатьНачать бесплатно

Создание конвейера с партиционированием

Обычное событие ассета сообщает потребителям, что «что-то изменилось», но не указывает, какой именно фрагмент данных затронут. На практике команды по отчётности и аналитике, как правило, хотят обрабатывать только ту партицию, которая действительно изменилась, — например, один конкретный день, — а не перезапускать весь пайплайн. Партиции ассетов передают ключ партиции потребителям, чтобы те могли реагировать ровно на нужный фрагмент данных. В этом упражнении вы настроите расписание пайплайна продаж на основе ежедневных партиций и будете генерировать партиционированное событие daily_sales при каждом запуске.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение