综合运用 I
您已经打下了扎实的 PySpark 基础,了解其核心组件,并通过 Spark SQL、DataFrame 和进阶操作的实操场景进行了练习。现在是把这些内容串联起来的时候了。在接下来的两个练习中,您将创建一个 SparkSession 和一个 DataFrame,缓存该 DataFrame,执行分析,并解释结果。
本练习是课程的一部分
PySpark 入门
练习说明
- 从
pyspark.sql导入SparkSession。 - 使用
SparkSession.builder.getOrCreate()新建一个名为final_spark的SparkSession。 - 在控制台打印
my_spark,以验证它是一个SparkSession。 - 使用预加载的模式和列定义创建一个新的 DataFrame。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = SparkSession.builder.appName(____).____
# Print my_spark
____
# Load dataset into a DataFrame
df = ____(data, schema=columns)
df.show()