Создание SparkSession
Мы уже создали для вас SparkSession с именем spark, но что если вы не уверены, существует ли он? Создание нескольких SparkSession и SparkContext может вызвать проблемы, поэтому рекомендуется использовать метод SparkSession.builder.getOrCreate(). Он возвращает уже существующий SparkSession, если тот имеется в окружении, или создаёт новый — если нет!
Это упражнение является частью курса
Основы PySpark
Инструкции к упражнению
- Импортируйте
SparkSessionизpyspark.sql. - Создайте новый
SparkSessionс именемmy_spark, используяSparkSession.builder.getOrCreate(). - Выведите
my_sparkв консоль, чтобы убедиться, что это действительноSparkSession.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)