Das Shuffle-Nadelöhr verstehen
Deine Managerin bei Global Retail Analytics bittet dich, den Datensatz online_retail (über 100.000 Zeilen) mit Regionsdaten aus country_lookup (44 Zeilen) anzureichern. Du schreibst einen normalen Left Join, aber die Abfrage dauert mehrere Minuten. Eine Senior-Engineer prüft deine .explain()-Ausgabe, entdeckt ShuffleExchange-Knoten und sagt dir: „Das Shuffle ist dein Nadelöhr."
Was meint die Senior-Engineer mit „dem Shuffle"?
Diese Übung ist Teil des Kurses
<Kurs>Datentransformation mit Spark SQL in Databricks</Kurs>Interaktive praktische Übung
Verwandle Theorie mit einer unserer interaktiven Übungen in die Praxis
Übung starten