SparkContext verstehen
Ein SparkContext ermöglicht Zugang zur Spark-Funktionalität, ähnlich wie ein Autoschlüssel ein Fahrzeug öffnet. Wenn wir eine Spark-Anwendung ausführen, wird ein Treiberprogramm gestartet, das die Hauptfunktion enthält und in dem der SparkContext initiiert wird. PySpark erstellt automatisch einen SparkContext für dich in der PySpark-Shell (damit du dies nicht selbst tun musst), der über eine Variable namens sc zugänglich ist.
In dieser einfachen Übung findest du die Attribute von SparkContext in der PySpark-Shell heraus, die du für den Rest des Kurses verwenden wirst.
Diese Übung ist Teil des Kurses
Grundlagen von Big Data mit PySpark
Anleitung zur Übung
- Gib die Version von SparkContext in der PySpark-Shell aus.
- Gib die Python-Version von SparkContext in der PySpark-Shell aus.
- Gib den Master von SparkContext in der PySpark-Shell aus.
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)