Comprendre le goulot d'étranglement du shuffle
Votre responsable chez Global Retail Analytics vous demande d'enrichir l'ensemble de données online_retail (plus de 100 000 lignes) avec les régions depuis country_lookup (44 lignes). Vous écrivez une jointure gauche standard, mais la requête prend plusieurs minutes. Un·e ingénieur·e senior regarde la sortie de .explain(), repère des nœuds ShuffleExchange et vous dit : « Le shuffle est votre goulot d'étranglement. »
Que veut dire l'ingénieur·e senior par « le shuffle » ?
Cet exercice fait partie du cours
<cours>Transformation des données avec Spark SQL dans Databricks</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice