Пам'ятайте, що з'єднання таблиць у Spark розподіляються між виконавцями кластера. Якщо дані не локальні, потрібні різні операції перестановки (shuffle), які можуть погіршити продуктивність. Натомість ми використаємо операції Spark broadcast, щоб надати кожному вузлу копію вказаних даних.

Кілька порад:

Передавайте в broadcast менший датафрейм. Чим більший датафрейм, тим більше часу потрібно, щоб передати його на вузли-виконавці.
Для невеликих датафреймів інколи краще пропустити broadcast і дозволити Spark самостійно виконати оптимізацію.
Якщо ви переглянете план виконання запиту, позначка broadcastHashJoin означає, що ви успішно налаштували broadcast.

Датафрейми flights_df і airports_df доступні вам.

Покращення продуктивності імпорту

Create Your Free Account