Capire SparkContext
Uno SparkContext rappresenta il punto d’ingresso alle funzionalità di Spark. È come la chiave della tua auto. Quando esegui qualsiasi applicazione Spark, parte un programma driver che contiene la funzione principale, e qui viene inizializzato il tuo SparkContext. PySpark crea automaticamente un SparkContext per te nella shell di PySpark (quindi non devi crearlo tu) ed è esposto tramite la variabile sc.
In questo semplice esercizio scoprirai gli attributi di SparkContext nella tua shell PySpark, che userai per il resto del corso.
Questo esercizio fa parte del corso
Fondamenti di Big Data con PySpark
Istruzioni dell'esercizio
- Stampa la versione di SparkContext nella shell di PySpark.
- Stampa la versione di Python di SparkContext nella shell di PySpark.
- Qual è il master di SparkContext nella shell di PySpark?
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)