Идемпотентность пайплайна
Пайплайн коллеги добавляет данные о продажах при каждом запуске, поэтому повторные запуски и бэкфиллы порождают дубликаты. В таблицах staging и sales есть столбец date (формат YYYY-MM-DD).
Вашей команде нужно сделать пайплайн идемпотентным: отфильтруйте запрос к staging по логической дате и добавьте preoperator, который удаляет существующие строки из таблицы sales.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение