Création d'une SparkSession
Nous avons déjà créé un SparkSession pour vous, intitulé spark, mais que faire si vous n'êtes pas certain qu'il en existe déjà un ? La création de plusieurs SparkSessionet SparkContext peut entraîner des problèmes. Il est donc recommandé d'utiliser la méthode SparkSession.builder.getOrCreate(). Cette fonction renvoie une instance existante de SparkSession si elle est déjà présente dans l'environnement, ou en crée une nouvelle si nécessaire.
Cet exercice fait partie du cours
<cours>Principes fondamentaux de PySpark</cours>Instructions de l’exercice
- Importez
SparkSessionà partir depyspark.sql. - Créez un nouveau fichier
SparkSessionnommémy_sparken utilisantSparkSession.builder.getOrCreate(). - Affichez
my_sparksur la console afin de vérifier qu'il s'agit bien d'unSparkSession.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)