SparkContext を理解する
SparkContext は Spark の機能にアクセスするための入口です。車のキーのようなものだと考えてください。Spark アプリケーションを実行すると、メイン関数を持つドライバープログラムが起動し、そこで SparkContext が初期化されます。PySpark シェルでは SparkContext が自動的に作成され(自分で作成する必要はありません)、変数 sc として利用できます。
このシンプルな演習では、コースの残りでも使用する PySpark シェル内の SparkContext の属性を確認していきます。
この演習はコースの一部です
PySparkで学ぶBig Data入門
演習の手順
- PySpark シェルで SparkContext のバージョンを表示してください。
- PySpark シェルで SparkContext の Python バージョンを表示してください。
- PySpark シェルで SparkContext のマスターは何ですか?
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Print the version of SparkContext
print("The version of Spark Context in the PySpark shell is", sc.____)
# Print the Python version of SparkContext
print("The Python version of Spark Context in the PySpark shell is", ____.pythonVer)
# Print the master of SparkContext
print("The master of Spark Context in the PySpark shell is", ____.____)