1. 学ぶ
    2. /
  2. コース
    3. /
  3. PySparkで学ぶBig Data入門
Connected

演習

PySpark の対話的な利用

Spark には、PySpark があらかじめインストールされた対話型の Python シェルが付属しています。PySpark シェルは基本的なテストやデバッグに便利で、非常に強力です。PySpark シェルの力を手早く体験するには、演習が一番です。この演習では、1 から 100 までの数値を含むシンプルなリストを PySpark シェルに読み込みます。

ここで最も重要なのは、SparkContext オブジェクトを自分で作成しない点です。PySpark シェルでは、sc という名前の SparkContext オブジェクトが自動的に作成されます。

指示

100 XP
  • 1 から 100 までの数値を含む Python のリスト numb を作成します。
  • Spark Context の parallelize メソッドを使ってリストを Spark に読み込み、変数 spark_data に代入します。