Créer une session SparkSession
Nous avons déjà créé pour vous un site SparkSession appelé spark, mais que faire si vous n'êtes pas sûr qu'il en existe déjà un ? La création de plusieurs SparkSessions et SparkContexts peut entraîner des problèmes, c'est pourquoi il est préférable d'utiliser la méthode SparkSession.builder.getOrCreate(). Cette fonction renvoie une adresse SparkSession existante s'il y en a déjà une dans l'environnement, ou en crée une nouvelle si nécessaire !
Cet exercice fait partie du cours
Introduction à PySpark
Instructions
- Importez
SparkSessionà partir depyspark.sql. - Créez un nouveau site
SparkSessionappelémy_sparken utilisantSparkSession.builder.getOrCreate(). - Imprimez
my_sparksur la console pour vérifier qu'il s'agit bien deSparkSession.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)