Когда использовать широковещательное соединение
Теперь, когда причина медленной работы установлена — перетасовка данных, — ваша команда в Global Retail Analytics хочет ускорить проблемный запрос. Он соединяет таблицу sales_transactions (50 миллионов строк) с таблицей product_categories (2 000 строк) с помощью стандартного левого соединения и выполняется более десяти минут. Вы предлагаете перейти на широковещательное соединение с использованием F.broadcast().
Почему широковещательное соединение ускорит этот запрос?
Это упражнение является частью курса
Преобразование данных с помощью Spark SQL в Databricks
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение