ПочатиПочніть безкоштовно

Зробімо конвеєр ідемпотентним

Конвеєр колеги щоразу додає нові записи про продажі, тож повторні запуски та бекфіли створюють дублікати. У таблицях staging і sales є стовпець date (формат YYYY-MM-DD).

Вашій команді потрібно зробити конвеєр ідемпотентним: відфільтруйте запит до staging за логічною датою та додайте preoperator, який видаляє наявні рядки з таблиці sales.

Ця вправа є частиною курсу

Створення конвеєрів даних з Airflow

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу