Spark の設定を読み取る
クラウドプロバイダー経由でクラスターを設定したばかりです。アクセス手段はコマンドシェルか Python コードのみです。クラスター設定を確認するために、いくつかの Spark 設定を検証したいと考えています。
spark オブジェクトは使用可能です。
この演習はコースの一部です
PySpark でデータをクレンジングする
演習の手順
- Spark アプリケーションインスタンス名（'spark.app.name'）を確認します。
- ドライバーが稼働している TCP ポート（'spark.driver.port'）を確認します。
- 結合で設定されているパーティション数を確認します。
- 結果を表示します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)