Comece agoraComece grátis

Quando usar um broadcast join

Agora que você sabe que o shuffle é o gargalo, sua equipe na Global Retail Analytics quer corrigir uma consulta lenta. Ela faz um left join entre a tabela sales_transactions (50 milhões de linhas) e a tabela product_categories (2.000 linhas) usando um left join padrão, e leva mais de dez minutos para rodar. Você sugere trocar para um broadcast join usando F.broadcast().

Por que um broadcast join aceleraria essa consulta?

Este exercicio faz parte do curso

Transformação de Dados com Spark SQL no Databricks

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio