理解 shuffle 瓶頸
你在 Global Retail Analytics 的主管要你用 country_lookup(44 列)的區域資料,豐富 online_retail(超過 100,000 列)資料集。你寫了一個標準的 left join,但查詢卻跑了好幾分鐘。一位資深工程師查看你的 .explain() 輸出,發現有 ShuffleExchange 節點,並對你說:「瓶頸在 shuffle。」
資深工程師所說的「shuffle」是什麼意思?
本練習屬於課程
你在 Global Retail Analytics 的主管要你用 country_lookup(44 列)的區域資料,豐富 online_retail(超過 100,000 列)資料集。你寫了一個標準的 left join,但查詢卻跑了好幾分鐘。一位資深工程師查看你的 .explain() 輸出,發現有 ShuffleExchange 節點,並對你說:「瓶頸在 shuffle。」
資深工程師所說的「shuffle」是什麼意思?
本練習屬於課程