Skapa en SparkSession
Vi har redan skapat en SparkSession åt dig som heter spark, men vad gör du om du är osäker på om det redan finns en? Att skapa flera SparkSessions och SparkContexts kan orsaka problem, så det rekommenderas att använda metoden SparkSession.builder.getOrCreate(). Den returnerar en befintlig SparkSession om det redan finns en i miljön, eller skapar en ny om det behövs!
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Importera
SparkSessionfrånpyspark.sql. - Skapa en ny
SparkSessionmed namnetmy_sparkmed hjälp avSparkSession.builder.getOrCreate(). - Skriv ut
my_sparki konsolen för att bekräfta att det är enSparkSession.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)