1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Cleaning Data with PySpark
Connected

cvičení

Čtení konfigurací Sparku

Nedávno jsi nakonfiguroval/a cluster přes cloudového poskytovatele. Máš k dispozici pouze příkazový řádek nebo Python kód. Chceš ověřit některá nastavení Sparku a potvrdit, že je cluster správně nakonfigurovaný.

Objekt spark je připravený k použití.

Pokyny

100 XP
  • Zjisti název instance aplikace Spark ('spark.app.name').
  • Zjisti, na kterém TCP portu běží driver ('spark.driver.port').
  • Zjisti, kolik partition je nakonfigurováno pro joiny.
  • Zobraz výsledky.