Spark-Konfigurationen lesen
Du hast kürzlich einen Cluster über einen Cloud-Anbieter konfiguriert. Der einzige Zugang erfolgt über die test-shell oder deinen Python-Code. Du möchtest einige Spark-Einstellungen überprüfen, um die Konfiguration des Clusters zu bestätigen.
Das Objekt spark ist für die Nutzung verfügbar.
Diese Übung ist Teil des Kurses
Daten bereinigen mit PySpark
Anleitung zur Übung
- Überprüfe den Namen der Spark-Anwendungsinstanz ("spark.app.name").
- Bestimme den TCP-Port, an dem der Treiber läuft ("spark.driver.port").
- Bestimme, wie viele Partitionen für Joins konfiguriert sind.
- Zeige die Ergebnisse.
Interaktive Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)