Bir SparkSession Oluşturma

Bu egzersizde, tüm kullanılabilir çekirdekleri kullanarak yerel bir Spark kümesi başlatacaksın. Küme, bir SparkSession nesnesi üzerinden erişilebilir olacak.

SparkSession sınıfının builder adlı bir özniteliği vardır; bu, Builder sınıfının bir örneğidir. Builder sınıfı sana şu üç önemli işlemi sağlayan metodlar sunar:

ana düğümün konumunu belirtmek;
uygulamaya ad vermek (isteğe bağlı); ve
var olan bir SparkSession'ı almak ya da yoksa yenisini oluşturmak.

SparkSession sınıfında Spark sürümünü veren bir version özniteliği bulunur. Not: Sürüme ayrıca pyspark modülündeki __version__ özniteliği üzerinden de erişilebilir.

SparkSession hakkında daha fazlasını buradan öğrenebilirsin.

Kümeyle işin bittiğinde, onu kapatman iyi bir fikirdir; böylece kaynaklar serbest kalır ve diğer işlemler için kullanılabilir hale gelir.

Notlar:

IPython Shell'in yanındaki Slaytlar panelinden dersteki slaytları gözden geçirmek faydalı olabilir.
Egzersizdeki Spark sürümü, derstekiyle aynı değildir. Egzersiz platformu, Spark'ın daha güncel bir sürümüne yükseltilmiştir.

Bu egzersiz

PySpark ile Machine Learning

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

pyspark.sql içinden SparkSession sınıfını içe aktar.
Yerel bir kümeye bağlı bir SparkSession nesnesi oluştur. Tüm kullanılabilir çekirdekleri kullan. Uygulamanın adını 'test' yap.
Kümede çalışan Spark sürümünü almak için SparkSession nesnesindeki version özniteliğini kullan. Not: Sürüm, sunumda kullanılanla farklı olabilir (zaman zaman güncellenir).
Kümeyi kapat.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Import the SparkSession class
from ____ import ____

# Create SparkSession object
spark = SparkSession.builder \
                    .master(____) \
                    .____(____) \
                    .____()

# What version of Spark?
print(spark.____)

# Terminate the cluster
spark.____()

Kodu Düzenle ve Çalıştır