SparkSession を作成する
この演習では、すでに spark という名前の SparkSession を用意しています。ただし、既存のセッションがあるか確信が持てない場合はどうすればよいでしょうか？ 複数の SparkSession や SparkContext を作成すると問題の原因になるため、SparkSession.builder.getOrCreate() メソッドを使うのがベストプラクティスです。これは、環境に既存の SparkSession があればそれを返し、なければ新しく作成します。
この演習はコースの一部です
PySpark入門
演習の手順
pyspark.sqlからSparkSessionをインポートします。SparkSession.builder.getOrCreate()を使って、my_sparkという新しいSparkSessionを作成します。my_sparkをコンソールに出力し、SparkSessionであることを確認します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)