BaşlayınÜcretsiz başlayın

Spark UI'da önbelleği inceleme

Bir dataframe olan partitioned_df mevcut. Bu dataframe kullanılarak text adlı geçici bir tablo kaydediliyor. Ardından spark.catalog.cacheTable('text') ile text önbelleğe alınıyor. Spark'ı yerelde çalıştırıyor olsaydın, Spark UI http://localhost:4040/storage/ adresinde erişilebilir olurdu. Bu egzersiz için aşağıdaki görsele bak. Bu görsel, text için önbellek yüklendiğinde Spark UI'ın ne göstereceğini gösteriyor:

Spark UI Storage

Bu, yedi bölüm (partition) içeren text adlı bir tablonun bellekte önbelleğe alındığını gösterir. Aşağıdakilerden hangisi yukarıdakinin Spark UI'da hemen görünmesine neden olur?

  1. Alttaki dataframe üzerinde bir dönüşüm yapmak, örneğin df = partitioned_df.distinct().

  2. Alttaki dataframe'i saymak, örneğin: partitioned_df.count()

  3. Tabloyu sorgulamak, örneğin: spark.sql("select count(*) from text")

  4. Sorgulayıp sonucu göstermek, örneğin: spark.sql("select count(*) from text").show()

Bu egzersiz, kursun bir parçasıdır

Python ile Spark SQL'e Giriş

Kursa Göz Atın

Uygulamalı etkileşimli egzersiz

Teoriyi etkileşime dönüştürün, interaktif egzersizlerimizden biriyle

Egzersize başla