始める無料で始める

SparkContext を理解する

SparkContext は Spark の機能にアクセスするための入口です。車のキーのようなものだと考えてください。Spark アプリケーションを実行すると、メイン関数を持つドライバープログラムが起動し、そこで SparkContext が初期化されます。PySpark シェルでは SparkContext が自動的に作成され(自分で作成する必要はありません)、変数 sc として利用できます。

このシンプルな演習では、コースの残りでも使用する PySpark シェル内の SparkContext の属性を確認していきます。

この演習はコースの一部です

PySparkで学ぶBig Data入門

コースを見る

演習の手順

  • PySpark シェルで SparkContext のバージョンを表示してください。
  • PySpark シェルで SparkContext の Python バージョンを表示してください。
  • PySpark シェルで SparkContext のマスターは何ですか?

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)

# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)

# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)
コードを編集して実行