BaşlayınÜcretsiz Başlayın

Spark UI'da önbelleği inceleme

Bir dataframe olan partitioned_df mevcut. Bu dataframe kullanılarak text adlı geçici bir tablo kaydediliyor. Ardından spark.catalog.cacheTable('text') ile text önbelleğe alınıyor. Spark'ı yerelde çalıştırıyor olsaydın, Spark UI http://localhost:4040/storage/ adresinde erişilebilir olurdu. Bu egzersiz için aşağıdaki görsele bak. Bu görsel, text için önbellek yüklendiğinde Spark UI'ın ne göstereceğini gösteriyor:

Spark UI Storage

Bu, yedi bölüm (partition) içeren text adlı bir tablonun bellekte önbelleğe alındığını gösterir. Aşağıdakilerden hangisi yukarıdakinin Spark UI'da hemen görünmesine neden olur?

  1. Alttaki dataframe üzerinde bir dönüşüm yapmak, örneğin df = partitioned_df.distinct().

  2. Alttaki dataframe'i saymak, örneğin: partitioned_df.count()

  3. Tabloyu sorgulamak, örneğin: spark.sql("select count(*) from text")

  4. Sorgulayıp sonucu göstermek, örneğin: spark.sql("select count(*) from text").show()

Bu egzersiz

Python ile Spark SQL'e Giriş

kursunun bir parçasıdır
Kursu Görüntüle

Uygulamalı interaktif egzersiz

İnteraktif egzersizlerimizden biriyle teoriyi pratiğe dökün

Egzersizi başlat