1. 学ぶ
  2. /
  3. コース
  4. /
  5. PySpark でデータをクレンジングする

Connected

演習

Spark の設定を読み取る

クラウドプロバイダー経由でクラスターを設定したばかりです。アクセス手段はコマンドシェルか Python コードのみです。クラスター設定を確認するために、いくつかの Spark 設定を検証したいと考えています。

spark オブジェクトは使用可能です。

指示

100 XP
  • Spark アプリケーションインスタンス名('spark.app.name')を確認します。
  • ドライバーが稼働している TCP ポート('spark.driver.port')を確認します。
  • 結合で設定されているパーティション数を確認します。
  • 結果を表示します。