Wanneer gebruik je een broadcast join
Nu je weet dat shuffle de bottleneck is, wil je team bij Global Retail Analytics een trage query oplossen. Die voegt een tabel sales_transactions (50 miljoen rijen) samen met een tabel product_categories (2.000 rijen) via een standaard left join, en draait meer dan tien minuten. Jij stelt voor om over te stappen op een broadcast join met F.broadcast().
Waarom zou een broadcast join deze query versnellen?
Deze oefening maakt deel uit van de cursus
Gegevens transformeren met Spark SQL in Databricks
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening