Läsa Spark-konfigurationer
Du har nyligen konfigurerat ett kluster via en molntjänstleverantör. Din enda åtkomst sker via kommandoskalet eller din Python-kod. Nu vill du verifiera några Spark-inställningar för att bekräfta att klustret är korrekt konfigurerat.
Objektet spark finns tillgängligt att använda.
Den här övningen är en del av kursen
Datarensning med PySpark
Övningsinstruktioner
- Kontrollera namnet på Spark-applikationsinstansen ('spark.app.name').
- Ta reda på vilken TCP-port drivrutinen körs på ('spark.driver.port').
- Ta reda på hur många partitioner som är konfigurerade för join-operationer.
- Visa resultaten.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)