開始使用免費開始

讀取 Spark 組態

你最近透過雲端供應商設定了一個叢集。你只能用命令殼層或 Python 程式碼連線。你想驗證一些 Spark 設定,來確認叢集的組態是否正確。

已提供 spark 物件可供使用。

本練習屬於課程

使用 PySpark 清理資料

檢視課程

練習說明

  • 檢查 Spark 應用程式執行個體的名稱('spark.app.name')。
  • 判斷 driver 執行所在的 TCP 埠('spark.driver.port')。
  • 判斷為 join 設定了多少個分割(partitions)。
  • 顯示結果。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Name of the Spark application instance
app_name = spark.____.get(____)

# Driver TCP port
driver_tcp_port = ____

# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')

# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)
編輯並執行程式碼