シャッフルのボトルネックを理解する
Global Retail Analytics のマネージャーから、online_retail データセット(10万行超)に country_lookup(44行)の地域データを結合するよう依頼されました。標準的な左結合を記述したところ、クエリに数分かかってしまいました。ベテランエンジニアが .explain() の出力を確認し、ShuffleExchange ノードを見つけて次のように指摘しました。「シャッフルがボトルネックになっています。」
ここで言う「シャッフル」とはどういう意味でしょうか?
この演習はコースの一部です
