Создание SparkSession

В этом упражнении вы запустите локальный кластер Spark, задействовав все доступные ядра. Доступ к кластеру будет осуществляться через объект SparkSession.

Класс SparkSession имеет атрибут builder — экземпляр класса Builder. Класс Builder предоставляет три важных метода, которые позволяют:

указать расположение мастер-узла;
задать имя приложения (необязательно);
получить существующий объект SparkSession или создать новый, если он ещё не существует.

Класс SparkSession также имеет атрибут version, возвращающий версию Spark. Примечание: версию можно получить и через атрибут __version__ модуля pyspark.

Подробнее о SparkSession читайте здесь.

По завершении работы с кластером рекомендуется остановить его — это освободит ресурсы и сделает их доступными для других процессов.

Примечания:

Для повторения материала воспользуйтесь панелью Слайды рядом с IPython Shell.
Версия Spark в упражнении отличается от той, что используется в уроках: платформа обновлена до более новой версии Spark.

Это упражнение является частью курса

Машинное обучение с PySpark

Посмотреть курс

Инструкции к упражнению

Импортируйте класс SparkSession из pyspark.sql.
Создайте объект SparkSession, подключённый к локальному кластеру. Используйте все доступные ядра. Назовите приложение 'test'.
С помощью атрибута version объекта SparkSession получите версию Spark, запущенную на кластере. Примечание: версия может отличаться от той, что показана в презентации — она периодически обновляется.
Остановите кластер.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the SparkSession class
from ____ import ____

# Create SparkSession object
spark = SparkSession.builder \
                    .master(____) \
                    .____(____) \
                    .____()

# What version of Spark?
print(spark.____)

# Terminate the cluster
spark.____()

Редактировать и запускать код