Membaca konfigurasi Spark
Anda baru saja mengonfigurasi sebuah kluster melalui penyedia cloud. Akses Anda hanya melalui command shell atau kode Python Anda. Anda ingin memverifikasi beberapa pengaturan Spark untuk memvalidasi konfigurasi kluster.
Objek spark tersedia untuk digunakan.
Latihan ini merupakan bagian dari kursus
Membersihkan Data dengan PySpark
Instruksi latihan
- Periksa nama instance aplikasi Spark ('spark.app.name').
- Tentukan port TCP tempat driver berjalan ('spark.driver.port').
- Tentukan berapa banyak partisi yang dikonfigurasi untuk operasi join.
- Tampilkan hasilnya.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)