Практика кэширования: всё вместе
Какой подход к кэшированию df1 и df2 оказался наилучшим и почему?
Результаты могут варьироваться; ниже приведён один (случайный) результат для каждого из двух подходов:
Первый вариант (кэшировать df1):
df1_1st : 2.4s
df1_2nd : 0.1s
df2_1st : 0.3s
df2_2nd : 0.2s
Overall elapsed : 3.9
Второй вариант (кэшировать df2):
df1_1st : 2.3s
df1_2nd : 1.1s
df2_1st : 1.7s
df2_2nd : 0.1s
Overall elapsed : 6.4
Это упражнение является частью курса
Введение в Spark SQL на Python
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение