讀取 Spark 組態
你最近透過雲端供應商設定了一個叢集。你只能用命令殼層或 Python 程式碼連線。你想驗證一些 Spark 設定,來確認叢集的組態是否正確。
已提供 spark 物件可供使用。
本練習屬於課程
使用 PySpark 清理資料
練習說明
- 檢查 Spark 應用程式執行個體的名稱('spark.app.name')。
- 判斷 driver 執行所在的 TCP 埠('spark.driver.port')。
- 判斷為 join 設定了多少個分割(partitions)。
- 顯示結果。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)