檢視 SparkContext
在這個練習中,你會先熟悉 SparkContext。
你可能會發現,程式碼執行的時間比預期還久。這是因為 Spark 是相當成熟的軟體,啟動所需時間會比你平常習慣的更長。你也可能注意到,執行一些較簡單的計算時,所花的時間也比想像中多。原因在於 Spark 內部的各種最佳化,主要是為了處理大型資料集的複雜運算所設計。因此,面對簡單或小型的問題時,Spark 的效能有時反而可能不如其他解法!
本練習屬於課程
PySpark 基礎
練習說明
先認識一下 SparkContext。
- 對
sc呼叫print(),確認你的環境中有SparkContext。 print()sc.version,查看叢集上正在執行的 Spark 版本。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Verify SparkContext
print(____)
# Print Spark version
print(____)