Comprendre SparkContext
Un SparkContext représente le point d'entrée vers les fonctionnalités de Spark. C'est un peu comme la clé de votre voiture. Lorsque vous exécutez une application Spark, un programme pilote (driver) démarre, contient la fonction principale, et votre SparkContext y est initialisé. PySpark crée automatiquement un SparkContext pour vous dans l'interpréteur PySpark (vous n'avez donc pas à le créer vous-même) et il est accessible par la variable sc.
Dans ce court exercice, vous allez découvrir les attributs de SparkContext dans votre interpréteur PySpark, que vous utiliserez pour le reste du cours.
Cette activité fait partie du cours
Principes de Big Data avec PySpark
Instructions de l’exercice
- Affichez la version de SparkContext dans l'interpréteur PySpark.
- Affichez la version de Python utilisée par SparkContext dans l'interpréteur PySpark.
- Quel est le « master » de SparkContext dans l'interpréteur PySpark?
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)