Практика кешування: об'єднуємо все разом
Який підхід до кешування df1 і df2 був найкращим і чому?
Ваші результати можуть відрізнятися; ось один (випадковий) результат для кожного з двох підходів:
Перша відповідь (кешувати df1):
df1_1st : 2.4s
df1_2nd : 0.1s
df2_1st : 0.3s
df2_2nd : 0.2s
Overall elapsed : 3.9
Друга відповідь (кешувати df2):
df1_1st : 2.3s
df1_2nd : 1.1s
df2_1st : 1.7s
df2_2nd : 0.1s
Overall elapsed : 6.4
Ця вправа є частиною курсу
Вступ до Spark SQL у Python
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу