Créer des RDD
En PySpark, vous pouvez créer un RDD (Resilient Distributed Dataset) de plusieurs façons. Comme vous connaissez déjà les DataFrames, vous allez procéder à partir d'un DataFrame. N'oubliez pas qu'une SparkSession nommée spark est déjà disponible dans votre espace de travail!
Cette activité fait partie du cours
Introduction à PySpark
Instructions de l’exercice
- Créez un DataFrame à partir de la liste fournie et nommez-le
df. - Convertissez le DataFrame en RDD.
- Recueillez et affichez le RDD obtenu.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)