När ska du använda ett broadcast join
Nu när du vet att shuffle är flaskhalsen vill ditt team på Global Retail Analytics åtgärda en långsam fråga. Den jointar en sales_transactions-tabell (50 miljoner rader) med en product_categories-tabell (2 000 rader) med ett vanligt left join, och det tar över tio minuter. Du föreslår att byta till ett broadcast join med F.broadcast().
Varför skulle ett broadcast join snabba upp den här frågan?
Den här övningen är en del av kursen
Datatransformation med Spark SQL i Databricks
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen