CommencezCommencez gratuitement

Mettre le tout ensemble I

Vous avez bâti de solides bases en PySpark, exploré ses composantes clés et travaillé sur des scénarios concrets avec Spark SQL, les DataFrames et des opérations avancées. Il est maintenant temps de mettre le tout en pratique. Dans les deux prochains exercices, vous allez créer une SparkSession et un DataFrame, mettre ce DataFrame en cache, faire de l'analyse et expliquer les résultats!

Cette activité fait partie du cours

Introduction à PySpark

Voir le cours

Instructions de l’exercice

  • Importez SparkSession depuis pyspark.sql.
  • Créez une nouvelle SparkSession nommée final_spark à l'aide de SparkSession.builder.getOrCreate().
  • Affichez my_spark dans la console pour vérifier qu'il s'agit d'une SparkSession.
  • Créez un nouveau DataFrame à partir d'un schéma et d'une définition de colonnes préchargés.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Import SparkSession from pyspark.sql
from ____ import ____

# Create my_spark
my_spark = SparkSession.builder.appName(____).____

# Print my_spark
____

# Load dataset into a DataFrame
df = ____(data, schema=columns)

df.show()
Modifier et exécuter le code