Створення SparkSession
Ми вже створили для вас SparkSession з назвою spark, але що робити, якщо ви не впевнені, що він існує? Створення кількох SparkSession та SparkContext може спричинити проблеми, тож найкраща практика — використовувати метод SparkSession.builder.getOrCreate(). Він повертає наявний SparkSession, якщо такий уже є в середовищі, або створює новий за потреби!
Ця вправа є частиною курсу
Основи PySpark
Інструкції до вправи
- Імпортуйте
SparkSessionзpyspark.sql. - Створіть новий
SparkSessionз назвоюmy_spark, використовуючиSparkSession.builder.getOrCreate(). - Виведіть
my_sparkу консоль, щоб переконатися, що цеSparkSession.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)