À l'instar des RDD, les DataFrame sont des structures de données immuables et distribuées dans Spark. Même si les RDD constituent une structure de données fondamentale dans Spark, il est plus facile de travailler avec des données dans des DataFrame que dans des RDD. Il est donc nécessaire de comprendre comment convertir un RDD en DataFrame.

Dans cet exercice, vous allez d'abord créer un RDD en utilisant la liste sample_list qui vous est déjà fournie. Ce RDD contient une liste de tuples ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26), et chaque tuple contient le nom de la personne et son âge. Vous allez ensuite créer un DataFrame en utilisant te RDD et le schéma (qui est la liste de « Name » et « Age ») et enfin confirmer que le résultat est un DataFrame PySpark.

Rappelez-vous qu’un SparkContext sc et une SparkSession spark se trouvent déjà dans votre espace de travail.

Interagir avec les DataFrame en utilisant PySpark SQL

Create Your Free Account