Читання конфігурацій Spark
Нещодавно ви налаштували кластер через хмарного провайдера. Ваш доступ є лише через командну оболонку або ваш код на Python. Ви хочете перевірити деякі параметри Spark, щоб упевнитися, що кластер сконфігуровано правильно.
Об'єкт spark доступний для використання.
Ця вправа є частиною курсу
Очищення даних у PySpark
Інструкції до вправи
- Перевірте назву екземпляра застосунку Spark («spark.app.name»).
- Визначте TCP-порт, на якому працює драйвер («spark.driver.port»).
- З'ясуйте, скільки розділів (partitions) налаштовано для операцій з'єднання (joins).
- Показайте результати.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)