Créer une SparkSession
Nous avons déjà créé pour vous une SparkSession nommée spark, mais que faire si vous n'êtes pas certain qu'il y en a déjà une? Créer plusieurs SparkSession et SparkContext peut causer des problèmes. Il est donc recommandé d'utiliser la méthode SparkSession.builder.getOrCreate(). Elle retourne une SparkSession existante si l'environnement en contient déjà une, ou en crée une nouvelle au besoin!
Cette activité fait partie du cours
Fondements de PySpark
Instructions de l’exercice
- Importez
SparkSessiondepuispyspark.sql. - Créez une nouvelle
SparkSessionappeléemy_sparkavecSparkSession.builder.getOrCreate(). - Affichez
my_sparkdans la console pour vérifier qu'il s'agit bien d'uneSparkSession.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)