始める無料で始める

シャッフルのボトルネックを理解する

Global Retail Analytics のマネージャーから、online_retail データセット(10万行超)に country_lookup(44行)の地域データを結合するよう依頼されました。標準的な左結合を記述したところ、クエリに数分かかってしまいました。ベテランエンジニアが .explain() の出力を確認し、ShuffleExchange ノードを見つけて次のように指摘しました。「シャッフルがボトルネックになっています。」

ここで言う「シャッフル」とはどういう意味でしょうか?

この演習はコースの一部です

Databricks における Spark SQL を使ったデータ変換

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する