Créer une SparkSession

Dans cet exercice, vous allez démarrer un grappe locale Spark en utilisant tous les cœurs disponibles. La grappe sera accessible au moyen d'un objet SparkSession.

La classe SparkSession possède un attribut builder, qui est une instance de la classe Builder. La classe Builder expose trois méthodes importantes qui vous permettent de :

préciser l'emplacement du nœud maître;
nommer l'application (optionnel);
récupérer une SparkSession existante ou, s'il n'y en a pas, en créer une nouvelle.

La classe SparkSession possède un attribut version qui donne la version de Spark. Remarque : Vous pouvez aussi obtenir la version via l'attribut __version__ du module pyspark.

Pour en savoir plus sur SparkSession, consultez cette page.

Lorsque vous avez terminé avec la grappe, il est recommandé de l'arrêter afin de libérer ses ressources et de les rendre disponibles pour d'autres processus.

Remarques :

Il peut être utile de revoir le diaporama des leçons dans le panneau Diaporama à côté de l'IPython Shell.
La version de Spark dans l'exercice n'est pas la même que dans les leçons. La plateforme d'exercices a été mise à jour vers une version plus récente de Spark.

Cette activité fait partie du cours

Machine Learning avec PySpark

Voir le cours

Instructions de l’exercice

Importez la classe SparkSession depuis pyspark.sql.
Créez un objet SparkSession connecté à une grappe locale. Utilisez tous les cœurs disponibles. Nommez l'application 'test'.
Utilisez l'attribut version de l'objet SparkSession pour obtenir la version de Spark qui s'exécute sur la grappe. Remarque : La version peut être différente de celle utilisée dans la présentation (elle est mise à jour de temps à autre).
Arrêtez la grappe.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import the SparkSession class
from ____ import ____

# Create SparkSession object
spark = SparkSession.builder \
                    .master(____) \
                    .____(____) \
                    .____()

# What version of Spark?
print(spark.____)

# Terminate the cluster
spark.____()

Modifier et exécuter le code