Comece agoraComece grátis

Entendendo o gargalo do shuffle

Sua gerente na Global Retail Analytics pediu para você enriquecer o conjunto de dados online_retail (com mais de 100.000 linhas) com informações de região a partir de country_lookup (44 linhas). Você escreveu um left join padrão, mas a consulta leva vários minutos. Uma engenheira sênior verifica a saída do seu .explain(), encontra nós ShuffleExchange e diz: "O shuffle é o seu gargalo."

O que a engenheira sênior quer dizer com "shuffle"?

Este exercicio faz parte do curso

Transformação de Dados com Spark SQL no Databricks

Ver curso

exercicio interativo prático

Transforme teoria em prática com um dos nossos exercicio interativos

Iniciar exercicio