Como criar uma SparkSession
Já criamos uma SparkSession para você chamada spark, mas e se você não tiver certeza de que já existe uma? A criação de várias SparkSession e SparkContext pode causar problemas, portanto é recomendável usar o método SparkSession.builder.getOrCreate(). Isso retorna uma SparkSession existente, se já houver uma no ambiente, ou cria uma nova, se necessário!
Este exercicio faz parte do curso
Fundamentos do PySpark
Instruções do exercicio
- Importe
SparkSessiondepyspark.sql. - Crie uma nova
SparkSessionchamadamy_sparkusandoSparkSession.builder.getOrCreate(). - Imprima
my_sparkno console para verificar se é umaSparkSession.
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)