Citirea configurațiilor Spark
Ai configurat recent un cluster printr-un furnizor cloud. Singurul tău acces este prin intermediul shell-ului de comandă sau al codului Python. Vrei să verifici câteva setări Spark pentru a valida configurația clusterului.
Obiectul spark este disponibil pentru utilizare.
Acest exercițiu face parte din cursul
Curățarea datelor cu PySpark
Instrucțiuni pentru exercițiu
- Verifică numele instanței aplicației Spark (
spark.app.name). - Determină portul TCP pe care rulează driverul (
spark.driver.port). - Determină câte partiții sunt configurate pentru operațiunile de join.
- Afișează rezultatele.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)