Înțelegerea SparkContext
SparkContext reprezintă punctul de intrare în funcționalitățile Spark. Este ca o cheie pentru mașina ta. Când rulezi orice aplicație Spark, pornește un program driver care conține funcția principală, iar SparkContext-ul tău este inițializat aici. PySpark creează automat un SparkContext în shell-ul PySpark (deci nu trebuie să îl creezi manual) și îl expune prin variabila sc.
În acest exercițiu simplu, vei descoperi atributele SparkContext-ului din shell-ul tău PySpark, pe care le vei folosi pe parcursul întregului curs.
Acest exercițiu face parte din cursul
Fundamentele Big Data cu PySpark
Instrucțiuni pentru exercițiu
- Afișează versiunea SparkContext din shell-ul PySpark.
- Afișează versiunea de Python a SparkContext din shell-ul PySpark.
- Care este masterul SparkContext din shell-ul PySpark?
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)