Poznáváme SparkContext
SparkContext představuje vstupní bod do světa Sparku – je to něco jako klíč od tvého auta. Při spuštění jakékoli Spark aplikace se nastartuje driver program s hlavní funkcí, kde se zároveň inicializuje SparkContext. PySpark ti v shellu SparkContext vytvoří automaticky (nemusíš ho zakládat ručně) a zpřístupní ho přes proměnnou sc.
V tomto krátkém cvičení prozkoumáš atributy SparkContextu v PySpark shellu, které budeš využívat po celou dobu kurzu.
Toto cvičení je součástí kurzu
Big Data Fundamentals with PySpark
Pokyny k cvičení
- Vypiš verzi SparkContextu v PySpark shellu.
- Vypiš verzi Pythonu SparkContextu v PySpark shellu.
- Jaký je master SparkContextu v PySpark shellu?
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)