Quand utiliser une jointure broadcast
Maintenant que vous savez que le shuffle est le goulot d'étranglement, votre équipe chez Global Retail Analytics veut corriger une requête lente. Elle fait une jointure gauche standard entre la table sales_transactions (50 millions de lignes) et la table product_categories (2 000 lignes), et l'exécution prend plus de dix minutes. Vous proposez de passer à une jointure broadcast en utilisant F.broadcast().
Pourquoi une jointure broadcast accélérerait-elle cette requête?
Cette activité fait partie du cours
Transformation des données avec Spark SQL dans Databricks
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice