Creación de SparkSession
Ya hemos creado un SparkSession para ti llamado spark, pero ¿y si no estás seguro de que ya exista uno? Crear varios SparkSessions y SparkContexts puede causar problemas, por lo que es mejor utilizar el método SparkSession.builder.getOrCreate(). Esto devuelve un SparkSession existente si ya hay uno en el entorno, ¡o crea uno nuevo si es necesario!
Este ejercicio forma parte del curso
Introducción a PySpark
Instrucciones del ejercicio
- Importa
SparkSessiondesdepyspark.sql. - Crea un nuevo
SparkSessionllamadomy_sparkutilizandoSparkSession.builder.getOrCreate(). - Imprime
my_sparken la consola para verificar que es unSparkSession.
Ejercicio interactivo práctico
Prueba este ejercicio completando el código de muestra.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)