BaşlayınÜcretsiz başlayın

Önbelleğe alma pratiği: SQL

Daha önce iki DataFrame incelemiştik: df1 ve df1'den oluşturulan df2. df1'i önbelleğe almaya çalışmıştık, ancak df2'yi almamıştık. Bu egzersizde, df2'yi önbelleğe almanın, df1'i almamanın etkilerine bakacağız.

Yine, her bir eylemin ne kadar sürdüğüne dikkat et. Bunları bir sonraki egzersizde karşılaştıracağız. Hangi görevler hızlandı? Hangileri yavaşladı?

Bu egzersiz, kursun bir parçasıdır

Python ile Spark SQL'e Giriş

Kursa Göz Atın

Egzersiz talimatları

  • df2'yi önbelleğe al, ancak df1'i alma.
  • df1 üzerinde bir eylemi bir kez çalıştır ve tekrarla, sonra df2 üzerinde bir eylemi çalıştır ve tekrarla. Bu senin için hazırlandı.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Unpersist df1 and df2 and initializes a timer
prep(df1, df2) 

# Persist df2 using memory and disk storage level 
df2.persist(____)

# Run actions both dataframes
run(df1, "df1_1st") 
run(df1, "df1_2nd") 
run(df2, "df2_1st") 
run(df2, "df2_2nd", elapsed=True)
Kodu Düzenle ve Çalıştır