Lendo as configurações do Spark
Você configurou recentemente um cluster por meio de um provedor de nuvem. Seu único acesso é por meio do shell de comando ou do código Python. Você gostaria de verificar algumas configurações do Spark para validar a configuração do cluster.
O objeto spark está disponível para uso.
Este exercício faz parte do curso
Limpeza de dados com o PySpark
Instruções de exercício
- Verifique o nome da instância do aplicativo Spark ("spark.app.name").
- Determine a porta TCP em que o driver é executado ("spark.driver.port").
- Determine quantas partições estão configuradas para uniões.
- Mostre os resultados.
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)