查看 SparkContext
在本练习中,您将熟悉 SparkContext。
您可能会注意到代码运行比预期更慢。这是因为 Spark 是一套"分量十足"的软件,启动时间会比您习惯的更长。您还可能发现,运行一些较简单的计算也会比预期慢。原因在于 Spark 的诸多优化主要针对大数据集上的复杂操作。因此,对于简单或小规模的问题,Spark 的表现有时可能不如其他解决方案!
本练习是课程的一部分
PySpark 基础
练习说明
了解 SparkContext。
- 对
sc调用print(),确认您的环境中存在SparkContext。 print()输出sc.version,查看集群上运行的 Spark 版本。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Verify SparkContext
print(____)
# Print Spark version
print(____)