НачатьНачать бесплатно

Идемпотентность пайплайна

Пайплайн коллеги добавляет данные о продажах при каждом запуске, поэтому повторные запуски и бэкфиллы порождают дубликаты. В таблицах staging и sales есть столбец date (формат YYYY-MM-DD).

Вашей команде нужно сделать пайплайн идемпотентным: отфильтруйте запрос к staging по логической дате и добавьте preoperator, который удаляет существующие строки из таблицы sales.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение