Odczytywanie konfiguracji Sparka
Niedawno skonfigurowano klaster u dostawcy chmury. Jedynym dostępem jest powłoka wiersza poleceń lub kod Pythona. Chcesz sprawdzić niektóre ustawienia Sparka, aby zweryfikować konfigurację klastra.
Obiekt spark jest dostępny do użycia.
To ćwiczenie jest częścią kursu
Czyszczenie danych w PySpark
Instrukcje do ćwiczenia
- Sprawdź nazwę instancji aplikacji Spark ('spark.app.name').
- Określ port TCP, na którym działa sterownik ('spark.driver.port').
- Sprawdź, ile partycji jest skonfigurowanych dla operacji łączenia (join).
- Wyświetl wyniki.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)