Comprendre SparkContext
Un SparkContext représente le point d'entrée des fonctionnalités de Spark. C'est comme la clé de votre voiture. Lorsque nous lançons une application Spark, un programme pilote démarre, doté de la fonction principale, et c’est là que votre SparkContext est initié. PySpark crée automatiquement un SparkContext pour vous dans le shell PySpark (vous n'avez donc pas à le créer vous-même) et il est exposé via une variable sc.
Dans cet exercice simple, vous découvrirez les attributs de SparkContext dans votre shell PySpark que vous utiliserez pour le reste du cours.
Cet exercice fait partie du cours
Principes fondamentaux des mégadonnées avec PySpark
Instructions
- Affiche la version de SparkContext dans le shell PySpark.
- Affiche la version Python de SparkContext dans le shell PySpark.
- Qu’est-ce que le maître de SparkContext dans le shell PySpark ?
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)