Зачем переходить на Lakeflow?
Команда Global Retail Analytics поддерживает задание (Job) в Databricks из трёх задач: загрузка, очистка и агрегация розничных данных, которые выполняются каждую ночь. Старший инженер предлагает переписать пайплайн с использованием паттерна @dlt.table в Lakeflow.
В чём главное преимущество перехода на Lakeflow для этого пайплайна?
Это упражнение является частью курса
Преобразование данных с помощью Spark SQL в Databricks
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение