Чтение конфигурации Spark
Вы недавно настроили кластер через облачного провайдера. Единственный способ взаимодействия с ним — командная оболочка или код на Python. Вы хотите проверить некоторые параметры Spark, чтобы убедиться в правильности конфигурации кластера.
Объект spark доступен для использования.
Это упражнение является частью курса
Очистка данных с помощью PySpark
Инструкции к упражнению
- Узнайте имя текущего экземпляра приложения Spark ('spark.app.name').
- Определите TCP-порт, на котором работает драйвер ('spark.driver.port').
- Определите, сколько разделов настроено для операций соединения.
- Выведите результаты.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)