Zacznij terazZacznij za darmo

Kiedy używać broadcast join

Skoro wiesz już, że shuffle jest wąskim gardłem, twój zespół w Global Retail Analytics chce przyspieszyć wolne zapytanie. Łączy ono tabelę sales_transactions (50 milionów wierszy) z tabelą product_categories (2 000 wierszy) za pomocą standardowego left join i wykonuje się ponad dziesięć minut. Proponujesz przejście na broadcast join z użyciem F.broadcast().

Dlaczego broadcast join przyspieszyłby to zapytanie?

To ćwiczenie jest częścią kursu

Data Transformation with Spark SQL in Databricks

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie