始める無料で始める

ブロードキャスト結合を使うべき場面

シャッフルがボトルネックであることがわかったところで、Global Retail Analytics のチームは遅いクエリを改善しようとしています。そのクエリは、sales_transactions テーブル(5,000万行)と product_categories テーブル(2,000行)を標準の左結合で結合しており、実行に10分以上かかっています。そこで、F.broadcast() を使ったブロードキャスト結合への切り替えを提案しました。

ブロードキャスト結合によってこのクエリが高速化される理由は何でしょうか?

この演習はコースの一部です

Databricks における Spark SQL を使ったデータ変換

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する