ПочатиПочніть безкоштовно

Планування для розділених за партіціями ресурсів

Тепер, коли апстрім генерує події daily_sales, розбиті на партіції, звітний Dag може автоматично на них реагувати, запускаючись лише для тієї партіції, яку щойно оновлено, замість повторної обробки кожної дати. Апстрім видає повну позначку часу, але звіт зважає лише на календарну дату; нормалізувати цей ключ якраз і призначено StartOfDayMapper. У цій вправі ви заплануєте даунстрім-звіт на розділений за партіціями ресурс і зіставите кожну подію з її днем.

Апстрім заздалегідь додано у файл для контексту, і в наступній вправі ви побачите, як обидва Dag працюють разом.

Ця вправа є частиною курсу

Створення конвеєрів даних з Airflow

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу