Коли використовувати broadcast join
Тепер, коли ви знаєте, що вузьким місцем є shuffle, ваша команда в Global Retail Analytics хоче виправити повільний запит. Він зʼєднує таблицю sales_transactions (50 мільйонів рядків) з таблицею product_categories (2 000 рядків) за допомогою стандартного лівого зʼєднання і виконується понад десять хвилин. Ви пропонуєте перейти на broadcast join, використавши F.broadcast().
Чому broadcast join пришвидшить цей запит?
Ця вправа є частиною курсу
Перетворення даних за допомогою Spark SQL у Databricks
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу