Entendendo o gargalo do shuffle
Sua gerente na Global Retail Analytics pediu para você enriquecer o conjunto de dados online_retail (com mais de 100.000 linhas) com informações de região a partir de country_lookup (44 linhas). Você escreveu um left join padrão, mas a consulta leva vários minutos. Uma engenheira sênior verifica a saída do seu .explain(), encontra nós ShuffleExchange e diz: "O shuffle é o seu gargalo."
O que a engenheira sênior quer dizer com "shuffle"?
Este exercicio faz parte do curso
Transformação de Dados com Spark SQL no Databricks
exercicio interativo prático
Transforme teoria em prática com um dos nossos exercicio interativos
Iniciar exercicio