Spark UI'da önbelleği inceleme
Bir dataframe olan partitioned_df mevcut. Bu dataframe kullanılarak text adlı geçici bir tablo kaydediliyor. Ardından spark.catalog.cacheTable('text') ile text önbelleğe alınıyor. Spark'ı yerelde çalıştırıyor olsaydın, Spark UI http://localhost:4040/storage/ adresinde erişilebilir olurdu. Bu egzersiz için aşağıdaki görsele bak. Bu görsel, text için önbellek yüklendiğinde Spark UI'ın ne göstereceğini gösteriyor:

Bu, yedi bölüm (partition) içeren text adlı bir tablonun bellekte önbelleğe alındığını gösterir. Aşağıdakilerden hangisi yukarıdakinin Spark UI'da hemen görünmesine neden olur?
Alttaki dataframe üzerinde bir dönüşüm yapmak, örneğin
df = partitioned_df.distinct().Alttaki dataframe'i saymak, örneğin:
partitioned_df.count()Tabloyu sorgulamak, örneğin:
spark.sql("select count(*) from text")Sorgulayıp sonucu göstermek, örneğin:
spark.sql("select count(*) from text").show()
Bu egzersiz
Python ile Spark SQL'e Giriş
kursunun bir parçasıdırUygulamalı interaktif egzersiz
İnteraktif egzersizlerimizden biriyle teoriyi pratiğe dökün
Egzersizi başlat