Förstå SparkContext
En SparkContext representerar ingångspunkten till Sparks funktionalitet – ungefär som en nyckel till din bil. När ett Spark-program körs startar ett drivrutinsprogram som innehåller huvudfunktionen, och din SparkContext initieras där. PySpark skapar automatiskt en SparkContext åt dig i PySpark-skalet, så du behöver inte skapa den själv. Den är tillgänglig via variabeln sc.
I den här övningen undersöker du attributen hos SparkContext i ditt PySpark-skal – de kommer du att använda genom hela kursen.
Den här övningen är en del av kursen
Grunderna i Big Data med PySpark
Övningsinstruktioner
- Skriv ut versionen av SparkContext i PySpark-skalet.
- Skriv ut Python-versionen av SparkContext i PySpark-skalet.
- Vad är mastern för SparkContext i PySpark-skalet?
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)