開始使用免費開始

理解 shuffle 瓶頸

你在 Global Retail Analytics 的主管要你用 country_lookup(44 列)的區域資料,豐富 online_retail(超過 100,000 列)資料集。你寫了一個標準的 left join,但查詢卻跑了好幾分鐘。一位資深工程師查看你的 .explain() 輸出,發現有 ShuffleExchange 節點,並對你說:「瓶頸在 shuffle。」

資深工程師所說的「shuffle」是什麼意思?

本練習屬於課程

在 Databricks 使用 Spark SQL 進行資料轉換

檢視課程

動手互動練習

將理論付諸實踐,立即體驗我們的互動練習

開始練習