建立 SparkSession
我們已經幫你建立了一個名為 spark 的 SparkSession。但如果你不確定是否已經存在呢?建立多個 SparkSession 和 SparkContext 可能會造成問題,所以最佳做法是使用 SparkSession.builder.getOrCreate()。如果環境中已經有現成的 SparkSession,它會直接回傳;若沒有,就會建立一個新的!
本練習屬於課程
PySpark 基礎
練習說明
- 從
pyspark.sql匯入SparkSession。 - 使用
SparkSession.builder.getOrCreate()建立一個名為my_spark的新SparkSession。 - 將
my_spark列印到主控台,確認它是SparkSession。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)