Lettura delle configurazioni di Spark
Hai appena configurato un cluster tramite un provider cloud. Puoi accedervi solo tramite la shell dei comandi o dal tuo codice Python. Vuoi verificare alcune impostazioni di Spark per convalidare la configurazione del cluster.
L'oggetto spark è già disponibile.
Questo esercizio fa parte del corso
Pulizia dei dati con PySpark
Istruzioni dell'esercizio
- Controlla il nome dell'istanza dell'applicazione Spark ("spark.app.name").
- Determina la porta TCP su cui gira il driver ("spark.driver.port").
- Determina quante partizioni sono configurate per le join.
- Mostra i risultati.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)