1. 学ぶ
  2. /
  3. コース
  4. /
  5. PySparkで学ぶBig Data入門

Connected

演習

SparkContext を理解する

SparkContext は Spark の機能にアクセスするための入口です。車のキーのようなものだと考えてください。Spark アプリケーションを実行すると、メイン関数を持つドライバープログラムが起動し、そこで SparkContext が初期化されます。PySpark シェルでは SparkContext が自動的に作成され(自分で作成する必要はありません)、変数 sc として利用できます。

このシンプルな演習では、コースの残りでも使用する PySpark シェル内の SparkContext の属性を確認していきます。

指示

100 XP
  • PySpark シェルで SparkContext のバージョンを表示してください。
  • PySpark シェルで SparkContext の Python バージョンを表示してください。
  • PySpark シェルで SparkContext のマスターは何ですか?