Analyse du SparkContext
Dans cet exercice, vous vous familiariserez avec SparkContext.
Vous remarquerez probablement que le code prend plus de temps à s'exécuter que prévu. En effet, Spark est un logiciel très performant. Le démarrage prend plus de temps que ce à quoi vous êtes habitué. Il est également possible que l'exécution de calculs plus simples prenne plus de temps que prévu. En effet, toutes les optimisations intégrées à Spark sont conçues pour des opérations complexes impliquant de grands ensembles de données. Cela signifie que pour des problèmes simples ou mineurs, Spark peut en réalité être moins performant que d'autres solutions.
Cet exercice fait partie du cours
<cours>Principes fondamentaux de PySpark</cours>Instructions de l’exercice
Découvrez SparkContext.
- Veuillez contacter
print()surscafin de vérifier qu'unSparkContextest disponible dans votre environnement. print()sc.versionpour déterminer quelle version de Spark est en cours d'exécution sur votre cluster.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Verify SparkContext
print(____)
# Print Spark version
print(____)