Понимание узкого места при shuffle
Ваш руководитель в Global Retail Analytics просит дополнить набор данных online_retail (более 100 000 строк) информацией о регионах из таблицы country_lookup (44 строки). Вы пишете стандартное левое соединение, однако запрос выполняется несколько минут. Старший инженер изучает вывод .explain(), замечает узлы ShuffleExchange и говорит: «Твоё узкое место — это shuffle».
Что именно имеет в виду старший инженер под словом «shuffle»?
Это упражнение является частью курса
Преобразование данных с помощью Spark SQL в Databricks
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение