Wann du einen Broadcast-Join verwendest
Jetzt, da du weißt, dass der Shuffle der Engpass ist, möchte dein Team bei Global Retail Analytics eine langsame Abfrage beheben. Sie führt einen Standard-LEFT JOIN zwischen der Tabelle sales_transactions (50 Millionen Zeilen) und product_categories (2.000 Zeilen) aus und läuft über zehn Minuten. Du schlägst vor, auf einen Broadcast-Join mit F.broadcast() umzusteigen.
Warum würde ein Broadcast-Join diese Abfrage beschleunigen?
Diese Übung ist Teil des Kurses
<Kurs>Datentransformation mit Spark SQL in Databricks</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten