Створення SparkSession

У цій вправі ви запустите локальний кластер Spark, використовуючи всі доступні ядра. Доступ до кластера здійснюватиметься через об'єкт SparkSession.

Клас SparkSession має атрибут builder, який є екземпляром класу Builder. Клас Builder надає три важливі методи, що дозволяють:

указати розташування вузла-майстра;
задати назву застосунку (необов'язково); та
отримати наявний SparkSession або, якщо його немає, створити новий.

Клас SparkSession має атрибут version, який повертає версію Spark. Примітка: Версію також можна отримати через атрибут __version__ модуля pyspark.

Детальніше про SparkSession дивіться тут.

Коли завершите роботу з кластером, його варто вимкнути, щоб звільнити ресурси й зробити їх доступними для інших процесів.

Примітки:

Можливо, вам буде корисно переглянути слайди з уроків у панелі Slides поруч з IPython Shell.
Версія Spark у вправі не збігається з версією в уроках. Платформу вправ оновлено до новішої версії Spark.

Ця вправа є частиною курсу

Machine Learning з PySpark

Переглянути курс

Інструкції до вправи

Імпортуйте клас SparkSession із pyspark.sql.
Створіть об'єкт SparkSession, під'єднаний до локального кластера. Використайте всі доступні ядра. Назвіть застосунок 'test'.
Скористайтеся атрибутом version об'єкта SparkSession, щоб отримати версію Spark, яка працює на кластері. Примітка: Версія може відрізнятися від тієї, що використовується у презентації (її час від часу оновлюють).
Вимкніть кластер.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the SparkSession class
from ____ import ____

# Create SparkSession object
spark = SparkSession.builder \
                    .master(____) \
                    .____(____) \
                    .____()

# What version of Spark?
print(spark.____)

# Terminate the cluster
spark.____()

Редагувати та запускати код