Creare una SparkSession
Abbiamo già creato per te una SparkSession chiamata spark, ma cosa fare se non sei sicuro che esista già? Creare più SparkSession e SparkContext può causare problemi, quindi la buona pratica è usare il metodo SparkSession.builder.getOrCreate(). Questo restituisce una SparkSession esistente se è già presente nell'ambiente, oppure ne crea una nuova se necessario!
Questo esercizio fa parte del corso
Fondamenti di PySpark
Istruzioni dell'esercizio
- Importa
SparkSessiondapyspark.sql. - Crea una nuova
SparkSessionchiamatamy_sparkusandoSparkSession.builder.getOrCreate(). - Stampa
my_sparknella console per verificare che sia unaSparkSession.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)