Quando usare una broadcast join
Ora che sai che lo shuffle è il collo di bottiglia, il tuo team di Global Retail Analytics vuole correggere una query lenta. Esegue una join tra una tabella sales_transactions (50 milioni di righe) e una tabella product_categories (2.000 righe) usando una left join standard, e impiega oltre dieci minuti. Suggerisci di passare a una broadcast join usando F.broadcast().
Perché una broadcast join velocizzerebbe questa query?
Questo esercizio fa parte del corso
Trasformazione dei dati con Spark SQL in Databricks
esercizio interattivo pratico
Trasforma la teoria in pratica con uno dei nostri esercizi interattivi
Inizia esercizio