Poznajemy SparkContext
SparkContext to punkt wejścia do funkcji Sparka – można go porównać do kluczyka do samochodu. Gdy uruchamiasz aplikację Spark, startuje program sterujący (driver), który zawiera funkcję główną i w którym inicjowany jest SparkContext. PySpark automatycznie tworzy dla ciebie obiekt SparkContext w powłoce PySpark (nie musisz robić tego samodzielnie) – jest on dostępny pod zmienną sc.
W tym ćwiczeniu przyjrzysz się atrybutom SparkContext dostępnego w powłoce PySpark, z którego będziesz korzystać przez cały kurs.
To ćwiczenie jest częścią kursu
Podstawy Big Data z PySpark
Instrukcje do ćwiczenia
- Wyświetl wersję SparkContext w powłoce PySpark.
- Wyświetl wersję Pythona używaną przez SparkContext w powłoce PySpark.
- Sprawdź, jaki jest master SparkContext w powłoce PySpark.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)