Lecture des configurations de Spark
Vous avez récemment configuré un cluster par l'entremise d'un fournisseur infonuagique. Votre seul accès se fait par l'interpréteur de commandes ou votre code Python. Vous souhaitez vérifier quelques paramètres Spark pour valider la configuration du cluster.
L'objet spark est prêt à être utilisé.
Cette activité fait partie du cours
Nettoyer des données avec PySpark
Instructions de l’exercice
- Vérifiez le nom de l'instance d'application Spark (« spark.app.name »).
- Déterminez le port TCP sur lequel le pilote s'exécute (« spark.driver.port »).
- Déterminez combien de partitions sont configurées pour les jointures.
- Affichez les résultats.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Name of the Spark application instance
app_name = spark.____.get(____)
# Driver TCP port
driver_tcp_port = ____
# Number of join partitions
num_partitions = ____('spark.sql.shuffle.____')
# Show the results
print("Name: %s" % ____)
print("Driver TCP port: %s" % ____)
print("Number of partitions: %s" % ____)