Čtení konfigurací Sparku
Nedávno jsi nakonfiguroval/a cluster přes cloudového poskytovatele. Máš k dispozici pouze příkazový řádek nebo Python kód. Chceš ověřit některá nastavení Sparku a potvrdit, že je cluster správně nakonfigurovaný.
Objekt spark je připravený k použití.
Toto cvičení je součástí kurzu
Cleaning Data with PySpark
Pokyny k cvičení
- Zjisti název instance aplikace Spark (
'spark.app.name'). - Zjisti, na kterém TCP portu běží driver (
'spark.driver.port'). - Zjisti, kolik partition je nakonfigurováno pro joiny.
- Zobraz výsledky.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)