开始使用免费开始使用

综合运用 I

您已经打下了扎实的 PySpark 基础,了解其核心组件,并通过 Spark SQL、DataFrame 和进阶操作的实操场景进行了练习。现在是把这些内容串联起来的时候了。在接下来的两个练习中,您将创建一个 SparkSession 和一个 DataFrame,缓存该 DataFrame,执行分析,并解释结果。

本练习是课程的一部分

PySpark 入门

查看课程

练习说明

  • pyspark.sql 导入 SparkSession
  • 使用 SparkSession.builder.getOrCreate() 新建一个名为 final_sparkSparkSession
  • 在控制台打印 my_spark,以验证它是一个 SparkSession
  • 使用预加载的模式和列定义创建一个新的 DataFrame。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Import SparkSession from pyspark.sql
from ____ import ____

# Create my_spark
my_spark = SparkSession.builder.appName(____).____

# Print my_spark
____

# Load dataset into a DataFrame
df = ____(data, schema=columns)

df.show()
编辑并运行代码