创建 SparkSession
我们已经为您创建了一个名为 spark 的 SparkSession。但如果您不确定环境中是否已经存在一个会话,该怎么办?创建多个 SparkSession 和 SparkContext 可能会带来问题,因此最佳实践是使用 SparkSession.builder.getOrCreate() 方法。如果环境中已有会话,它会返回现有的 SparkSession;如有需要则会新建一个。
本练习是课程的一部分
PySpark 基础
练习说明
- 从
pyspark.sql导入SparkSession。 - 使用
SparkSession.builder.getOrCreate()创建一个名为my_spark的新SparkSession。 - 将
my_spark打印到控制台,以验证它是一个SparkSession。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)