Quand utiliser une broadcast join
Maintenant que vous savez que le shuffle est le goulot d'étranglement, votre équipe chez Global Retail Analytics veut corriger une requête lente. Elle joint une table sales_transactions (50 millions de lignes) à une table product_categories (2 000 lignes) avec une jointure gauche standard, et l'exécution dure plus de dix minutes. Vous proposez de passer à une broadcast join avec F.broadcast().
Pourquoi une broadcast join accélérerait-elle cette requête ?
Cet exercice fait partie du cours
<cours>Transformation des données avec Spark SQL dans Databricks</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice