開始使用免費開始

檢視 SparkContext

在這個練習中,你會先熟悉 SparkContext

你可能會發現,程式碼執行的時間比預期還久。這是因為 Spark 是相當成熟的軟體,啟動所需時間會比你平常習慣的更長。你也可能注意到,執行一些較簡單的計算時,所花的時間也比想像中多。原因在於 Spark 內部的各種最佳化,主要是為了處理大型資料集的複雜運算所設計。因此,面對簡單或小型的問題時,Spark 的效能有時反而可能不如其他解法!

本練習屬於課程

PySpark 基礎

檢視課程

練習說明

先認識一下 SparkContext

  • sc 呼叫 print(),確認你的環境中有 SparkContext
  • print() sc.version,查看叢集上正在執行的 Spark 版本。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Verify SparkContext
print(____)

# Print Spark version
print(____)
編輯並執行程式碼