Configurations de lecture Spark
Vous avez récemment configuré un cluster via un fournisseur de cloud. Votre seul accès se fait via le shell de commande ou votre code Python. Vous souhaitez vérifier certains paramètres de Spark pour valider la configuration du cluster.
L'objet spark peut être utilisé.
Cet exercice fait partie du cours
Nettoyer des données avec PySpark
Instructions
- Vérifiez le nom de l'instance de l'application Spark ('spark.app.name').
- Déterminez le port TCP sur lequel le pilote fonctionne ('spark.driver.port').
- Déterminez le nombre de partitions configurées pour les jointures.
- Montrez les résultats.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)