開始使用免費開始

互動式使用 PySpark

Spark 提供一個互動式的 Python 命令列環境,已經安裝好 PySpark。PySpark shell 對基本測試與除錯很有幫助,而且功能相當強大。展示 PySpark shell 威力的最佳方式,就是做個練習。在這個練習中,你會在 PySpark shell 中載入一個簡單的清單,內容是 1 到 100 的數字。

這裡最重要的一點是:我們不需要自行建立 SparkContext 物件,因為在 PySpark shell 中,PySpark 會自動建立名為 sc 的 SparkContext 物件。

本練習屬於課程

使用 PySpark 的 Big Data 基礎

檢視課程

練習說明

  • 建立一個名為 numb 的 Python list,包含 1 到 100 的數字。
  • 使用 Spark Context 的 parallelize 方法將該清單載入 Spark,並指定給變數 spark_data

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Create a Python list of numbers from 1 to 100 
numb = range(____, ____)

# Load the list into PySpark  
spark_data = sc.____(numb)
編輯並執行程式碼