1. Nauka
    2. /
  2. Kursy
    3. /
  3. Czyszczenie danych w PySpark
Connected

ćwiczenie

Odczytywanie konfiguracji Sparka

Niedawno skonfigurowano klaster u dostawcy chmury. Jedynym dostępem jest powłoka wiersza poleceń lub kod Pythona. Chcesz sprawdzić niektóre ustawienia Sparka, aby zweryfikować konfigurację klastra.

Obiekt spark jest dostępny do użycia.

Instrukcje

100 XP
  • Sprawdź nazwę instancji aplikacji Spark ('spark.app.name').
  • Określ port TCP, na którym działa sterownik ('spark.driver.port').
  • Sprawdź, ile partycji jest skonfigurowanych dla operacji łączenia (join).
  • Wyświetl wyniki.