ПочатиПочніть безкоштовно

Розуміння вузького місця через shuffle

Ваш менеджер у Global Retail Analytics просить збагатити набір даних online_retail (понад 100 000 рядків) даними про регіони з country_lookup (44 рядки). Ви пишете звичайний left join, але запит виконується кілька хвилин. Старший інженер перевіряє вивід .explain(), помічає вузли ShuffleExchange і каже: «Вузьке місце — це shuffle».

Що має на увазі старший інженер під «shuffle»?

Ця вправа є частиною курсу

Перетворення даних за допомогою Spark SQL у Databricks

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу