Qué es SparkContext
Un SparkContext es el punto de entrada a la funcionalidad de Spark. Es como la llave de tu coche. Cuando ejecutamos cualquier aplicación Spark, se abre un programa para drivers con la función principal, en el que se inicia tu SparkContext. PySpark crea automáticamente un SparkContext en el terminal PySpark (para que no tengas que crearlo tú) y se expone mediante una variable sc.
En este sencillo ejercicio, descubrirás los atributos del SparkContext en tu terminal PySpark, que utilizarás durante el resto del curso.
Este ejercicio forma parte del curso
Fundamentos de big data con PySpark
Instrucciones de ejercicio
- Imprime la versión de SparkContext en el terminal PySpark.
- Imprime la versión de Python de SparkContext en el terminal PySpark.
- ¿Qué es el maestro de SparkContext en el terminal PySpark?
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)