Examen de SparkContext
En este ejercicio te familiarizarás con la página SparkContext.
Probablemente notarás que el código tarda más en ejecutarse de lo que cabría esperar. Esto se debe a que Spark es un software muy complejo. La puesta en marcha lleva más tiempo del que estás acostumbrado. También es posible que la ejecución de cálculos más sencillos te lleve más tiempo de lo esperado. Esto se debe a que todas las optimizaciones que Spark tiene bajo su capó están diseñadas para operaciones complicadas con grandes conjuntos de datos. Esto significa que, para problemas sencillos o pequeños, Spark puede funcionar peor que otras soluciones.
Este ejercicio forma parte del curso
Introducción a PySpark
Instrucciones de ejercicio
Descubre SparkContext.
- Llama a
print()enscpara verificar que hay unSparkContexten tu entorno. print()sc.versionpara ver qué versión de Spark se está ejecutando en tu clúster.
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Verify SparkContext
print(____)
# Print Spark version
print(____)