互動式使用 PySpark
Spark 提供一個互動式的 Python 命令列環境,已經安裝好 PySpark。PySpark shell 對基本測試與除錯很有幫助,而且功能相當強大。展示 PySpark shell 威力的最佳方式,就是做個練習。在這個練習中,你會在 PySpark shell 中載入一個簡單的清單,內容是 1 到 100 的數字。
這裡最重要的一點是:我們不需要自行建立 SparkContext 物件,因為在 PySpark shell 中,PySpark 會自動建立名為 sc 的 SparkContext 物件。
本練習屬於課程
使用 PySpark 的 Big Data 基礎
練習說明
- 建立一個名為
numb的 Python list,包含 1 到 100 的數字。 - 使用 Spark Context 的
parallelize方法將該清單載入 Spark,並指定給變數spark_data。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)