Kiedy używać broadcast join
Skoro wiesz już, że shuffle jest wąskim gardłem, twój zespół w Global Retail Analytics chce przyspieszyć wolne zapytanie. Łączy ono tabelę sales_transactions (50 milionów wierszy) z tabelą product_categories (2 000 wierszy) za pomocą standardowego left join i wykonuje się ponad dziesięć minut. Proponujesz przejście na broadcast join z użyciem F.broadcast().
Dlaczego broadcast join przyspieszyłby to zapytanie?
To ćwiczenie jest częścią kursu
Data Transformation with Spark SQL in Databricks
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie