ComenzarEmpieza gratis

Lectura de las configuraciones de Spark

Recientemente has configurado un clúster a través de un proveedor en la nube. Tu único acceso es a través del shell de comandos o de tu código python. Te gustaría verificar algunos ajustes de Spark para validar la configuración del clúster.

El objeto spark está disponible para su uso.

Este ejercicio forma parte del curso

Limpiar datos con PySpark

Ver curso

Instrucciones del ejercicio

  • Comprueba el nombre de la instancia de la aplicación Spark ('spark.app.name').
  • Determina el puerto TCP en el que se ejecuta el controlador ('spark.driver.port').
  • Determina cuántas particiones están configuradas para las uniones.
  • Muestra los resultados.

Ejercicio interactivo práctico

Prueba este ejercicio completando el código de muestra.

# Name of the Spark application instance
app_name = spark.____.get(____)

# Driver TCP port
driver_tcp_port = ____

# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')

# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)
Editar y ejecutar código