SparkContext begrijpen
Een SparkContext is het startpunt voor Spark-functionaliteit. Het is net de sleutel van je auto. Wanneer je een Spark-applicatie draait, start er een driverprogramma met de main-functie en hier wordt je SparkContext geïnitialiseerd. PySpark maakt automatisch een SparkContext voor je in de PySpark-shell (dus je hoeft er zelf geen aan te maken) en stelt die bloot via de variabele sc.
In deze eenvoudige oefening ga je de eigenschappen van de SparkContext in je PySpark-shell bekijken, die je de rest van de cursus zult gebruiken.
Deze oefening maakt deel uit van de cursus
Big Data Fundamentals met PySpark
Oefeninstructies
- Print de versie van SparkContext in de PySpark-shell.
- Print de Python-versie van SparkContext in de PySpark-shell.
- Wat is de master van SparkContext in de PySpark-shell?
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)