Tout comme les RDD, les DataFrames sont des structures de données immuables et distribuées dans Spark. Même si les RDD sont une structure fondamentale dans Spark, il est plus simple de travailler avec des données dans des DataFrames que dans des RDD. Il est donc essentiel de savoir convertir un RDD en DataFrame.

Dans cet exercice, vous allez d'abord créer un RDD à partir de sample_list, déjà fournie. Ce RDD contient une liste de tuples ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26) où chaque tuple comprend le nom d'une personne et son âge. Ensuite, vous créerez un DataFrame à partir du RDD et du schéma (la liste « Name » et « Age »), puis vous confirmerez finalement que le résultat est un DataFrame PySpark.

N'oubliez pas : vous avez déjà un SparkContext sc et une SparkSession spark disponibles dans votre espace de travail.

Interagir avec les DataFrames à l'aide de PySpark SQL

Create Your Free Account