Rozumienie wąskiego gardła operacji shuffle
Twój menedżer w Global Retail Analytics prosi cię o wzbogacenie zbioru danych online_retail (ponad 100 000 wierszy) o dane regionalne z tabeli country_lookup (44 wiersze). Piszesz standardowe złączenie lewostronnie, ale zapytanie wykonuje się przez kilka minut. Starszy inżynier analizuje wynik .explain(), dostrzega węzły ShuffleExchange i mówi: „Shuffle to twoje wąskie gardło."
Co starszy inżynier ma na myśli, mówiąc o „shuffle"?
To ćwiczenie jest częścią kursu
Data Transformation with Spark SQL in Databricks
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie