Een SparkSession maken
We hebben al een SparkSession voor je aangemaakt met de naam spark, maar wat als je niet zeker weet of die er al is? Meerdere SparkSessions en SparkContexts maken kan problemen geven, dus het is best practice om de methode SparkSession.builder.getOrCreate() te gebruiken. Die geeft een bestaande SparkSession terug als er al één in de omgeving is, of maakt er anders een nieuwe aan!
Deze oefening maakt deel uit van de cursus
Basis van PySpark
Oefeninstructies
- Importeer
SparkSessionuitpyspark.sql. - Maak een nieuwe
SparkSessionmet de naammy_sparkmetSparkSession.builder.getOrCreate(). - Print
my_sparknaar de console om te controleren dat het eenSparkSessionis.
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)