НачатьНачать бесплатно

Практика кэширования: всё вместе

Какой подход к кэшированию df1 и df2 оказался наилучшим и почему?

Результаты могут варьироваться; ниже приведён один (случайный) результат для каждого из двух подходов:

Первый вариант (кэшировать df1):

df1_1st : 2.4s
df1_2nd : 0.1s
df2_1st : 0.3s
df2_2nd : 0.2s
Overall elapsed : 3.9

Второй вариант (кэшировать df2):

df1_1st : 2.3s
df1_2nd : 1.1s
df2_1st : 1.7s
df2_2nd : 0.1s
Overall elapsed : 6.4

Это упражнение является частью курса

Введение в Spark SQL на Python

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение