Comprendre l’engorgement causé par le shuffle
Votre gestionnaire chez Global Retail Analytics vous demande d’enrichir l’ensemble de données online_retail (plus de 100 000 lignes) avec les régions provenant de country_lookup (44 lignes). Vous écrivez une jointure gauche standard, mais la requête prend plusieurs minutes. Un ingénieur principal examine la sortie de votre .explain(), repère des nœuds ShuffleExchange et vous dit : « Le shuffle est votre goulot d’étranglement. »
Qu’entend l’ingénieur par « le shuffle »?
Cette activité fait partie du cours
Transformation des données avec Spark SQL dans Databricks
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice