Tworzenie SparkSession
Przygotowaliśmy dla ciebie obiekt SparkSession o nazwie spark, ale co zrobić, jeśli nie masz pewności, czy już istnieje? Tworzenie wielu obiektów SparkSession i SparkContext może powodować problemy, dlatego dobrą praktyką jest korzystanie z metody SparkSession.builder.getOrCreate(). Zwraca ona istniejącą SparkSession, jeśli taka już jest w środowisku, albo tworzy nową – jeśli zajdzie taka potrzeba!
To ćwiczenie jest częścią kursu
Podstawy PySpark
Instrukcje do ćwiczenia
- Zaimportuj
SparkSessionzpyspark.sql. - Utwórz nową
SparkSessiono nazwiemy_spark, używającSparkSession.builder.getOrCreate(). - Wyświetl
my_sparkw konsoli, aby sprawdzić, czy to rzeczywiścieSparkSession.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)