Spark yapılandırmalarını okuma
Yakın zamanda bir bulut sağlayıcısı üzerinden bir küme yapılandırdın. Erişimin yalnızca komut satırı veya Python kodun üzerinden. Kümenin yapılandırmasını doğrulamak için bazı Spark ayarlarını kontrol etmek istiyorsun.
spark nesnesi kullanımına hazır.
Bu egzersiz, kursun bir parçasıdır
PySpark ile Veri Temizleme
Egzersiz talimatları
- Spark uygulama örneğinin adını kontrol et ('spark.app.name').
- Sürücünün çalıştığı TCP portunu belirle ('spark.driver.port').
- Birleşimler için kaç bölümün (partition) yapılandırıldığını belirle.
- Sonuçları göster.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)