CommencezCommencez gratuitement

Examiner le SparkContext

Dans cet exercice, vous allez vous familiariser avec le SparkContext.

Vous remarquerez sans doute que le code s'exécute plus lentement que prévu. C'est parce que Spark est un logiciel costaud. Son démarrage prend plus de temps que ce à quoi vous êtes habitué. Vous pourriez aussi constater que des calculs simples prennent plus de temps que prévu. C'est que toutes les optimisations sous le capot de Spark sont conçues pour des opérations complexes sur de très grands ensembles de données. Autrement dit, pour des problèmes simples ou de petite taille, Spark peut en fait être moins performant que d'autres solutions!

Cette activité fait partie du cours

Fondements de PySpark

Voir le cours

Instructions de l’exercice

Faites connaissance avec le SparkContext.

  • Appelez print() sur sc pour vérifier qu'il y a un SparkContext dans votre environnement.
  • Faites print() de sc.version pour voir quelle version de Spark s'exécute sur votre grappe.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Verify SparkContext
print(____)

# Print Spark version
print(____)
Modifier et exécuter le code