Zacznij terazZacznij za darmo

Rozumienie wąskiego gardła operacji shuffle

Twój menedżer w Global Retail Analytics prosi cię o wzbogacenie zbioru danych online_retail (ponad 100 000 wierszy) o dane regionalne z tabeli country_lookup (44 wiersze). Piszesz standardowe złączenie lewostronnie, ale zapytanie wykonuje się przez kilka minut. Starszy inżynier analizuje wynik .explain(), dostrzega węzły ShuffleExchange i mówi: „Shuffle to twoje wąskie gardło."

Co starszy inżynier ma na myśli, mówiąc o „shuffle"?

To ćwiczenie jest częścią kursu

Data Transformation with Spark SQL in Databricks

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie