Розуміння вузького місця через shuffle
Ваш менеджер у Global Retail Analytics просить збагатити набір даних online_retail (понад 100 000 рядків) даними про регіони з country_lookup (44 рядки). Ви пишете звичайний left join, але запит виконується кілька хвилин. Старший інженер перевіряє вивід .explain(), помічає вузли ShuffleExchange і каже: «Вузьке місце — це shuffle».
Що має на увазі старший інженер під «shuffle»?
Ця вправа є частиною курсу
Перетворення даних за допомогою Spark SQL у Databricks
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу