Зробімо конвеєр ідемпотентним
Конвеєр колеги щоразу додає нові записи про продажі, тож повторні запуски та бекфіли створюють дублікати. У таблицях staging і sales є стовпець date (формат YYYY-MM-DD).
Вашій команді потрібно зробити конвеєр ідемпотентним: відфільтруйте запит до staging за логічною датою та додайте preoperator, який видаляє наявні рядки з таблиці sales.
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу