Crearea unei SparkSession
Am creat deja o SparkSession numită spark, dar ce faci dacă nu ești sigur că există una? Crearea mai multor SparkSession-uri și SparkContext-uri poate cauza probleme, așa că cea mai bună practică este să folosești metoda SparkSession.builder.getOrCreate(). Aceasta returnează o SparkSession existentă dacă există deja una în mediu, sau creează una nouă dacă este nevoie!
Acest exercițiu face parte din cursul
Fundamente PySpark
Instrucțiuni pentru exercițiu
- Importă
SparkSessiondinpyspark.sql. - Creează o nouă
SparkSessionnumitămy_sparkfolosindSparkSession.builder.getOrCreate(). - Afișează
my_sparkîn consolă pentru a verifica că este oSparkSession.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)